如何禁用HTTP請求到Hadoop RPC端口

我已經爲我的Hadoop集羣啓用了安全性，並且它工作正常。但是，當我訪問鏈接http://namenode_host:8020，它表明：如何禁用HTTP請求到Hadoop RPC端口

It looks like you are making an HTTP request to a Hadoop IPC port. This is not the correct port for the web interface on this daemon.

但我不希望這樣的行爲，因爲它是未加密的消息，我們公司的政策是加密的數據，所有的端口。 8020是Hadoop的RPC端口。有關如何禁用HTTP請求到Hadoop RPC端口的任何想法？

來源

2017-02-22 Wenyuan Chen

8020 - 是Hadoop文件系統的默認端口，它將HDFS客戶端的IPC調用監聽到HDFS元數據操作的Hadoop NameNode。您不應該嘗試通過HTTP直接訪問它。如果您想通過Web在HDFS上處理數據，則必須使用WebHDFS API，該API允許對文件系統中的數據執行Web請求。

來源

2017-02-22 09:27:06 Alex

謝謝亞歷克斯。但問題是我公司的安全團隊會嘗試通過HTTP訪問端口，並告訴我它會返回純文本而不加密。那麼有沒有什麼辦法讓它通過HTTP返回或者不返回任何東西。 –

@ WenyuanChen我不認爲你的安全團隊應該爲此煩惱，因爲這樣的請求扮演着一種ping的角色，它只是告訴你NameNode已經啓動並正在運行。您將無法從您的http請求中獲得其他內容，因此它是否屬於平面文本並不重要。如果你真的想在HDFS和客戶端之間啓用加密的數據流，你應該按照Weiwei Yang提供的參考文獻中提到的步驟。 – Alex

看看Apache文檔中的Data Confidentiality部分，我想你正在尋找RPC加密。

來源

2017-02-22 09:41:11

是的。我已經添加了配置。但是到Hadoop RPC端口8020的HTTP請求仍然會返回純文本消息。 –

但是，您提供的消息不應該被安全團隊關注，它只是一條消息，告訴您這是一個RPC端口，它不應該被http請求訪問。保證PRC連接安全後，通過此端口的守護程序通信（以及客戶端 - 服務器通信）不會泄漏任何數據（加密的）。 –

如何禁用HTTP請求到Hadoop RPC端口

回答

相關問題