如何實施spark.ui.filter

Question

我在2個CentOS機器上設置了一個Spark集羣。我想保護我的羣集（主節點）的Web UI。我做了一個BasicAuthenticationFilter servlet。我無法理解：

1. 我該如何使用spark.ui.filter來保護我的Web UI。
2. 我應該在哪裏放置servlet/jar文件。

請幫忙。

Answer 1

嗨將jar文件放在文件夾/opt/spark/conf/中的所有節點中。在終端中，輸入以下命令：

• 導航到目錄/usr/local/share/jupyter/kernels/pyspark/kernel.json
• 編輯文件kernel.json
• 添加以下參數來PYSPARK_SUBMIT_ARGS --jars /opt/spark/conf/filterauth.jar –conf spark.ui.filters=authenticate.MyFilter

這裏，filterauth.jar是jar文件創建和authenticate.MyFilter代表<package name>.<class name>

希望這回答你的問題RY。 :)

Answer 2

我還需要處理這個安全問題，以防止未經授權的訪問激發獨立的用戶界面。最後，我固定它在網上衝浪上之後，該過程是：使用標準的基本認證協議

1. 代碼和編譯Java濾波器，我refered此[博客]：http://lambda.fortytools.com/post/26977061125/servlet-filter-for-http-basic-auth
2. 上述過濾器類作爲打包一個jar文件，把它放在$ spark_home /瓶/

3. 加入$ spark_home/conf目錄/火花default.conf的配置行：

   • spark.ui.filters xxx.BasicAuthFilter＃滿級名稱
   個

   • spark.test.BasicAuthFilter.params USER = foo的，密碼=涼，境界=一些

     的用戶名和密碼，需要提供訪問火花UI，「境界」是微不足道不管你鍵入

4. 重啓所有主從設備工藝和測試，以找出它的工作原理