如何使用Java配置hadoop-core配置客戶端

Question

關於使用hadoop客戶端有幾個問題。

1. 如何指定用戶名和密碼？如果不能，客戶端將使用windows的用戶訪問hadoop，但我懷疑它是否安全。

2. 使用Configuration可以設置多少個參數？我可以設置用戶名和密碼嗎？

Answer 1

我已經找到了名爲get（URI URI，配置配置，字符串用戶名）與jar版本0.20.205.0的FileSystem類型的方法。它不需要密碼。 謝謝大家。

Answer 2

對於（1）：

Hadoop的安全性不是基於密碼而是基於Kerberos。您可以閱讀更多關於其安全體系結構here的信息，並找到有關爲最新版本here配置它的指南。

您注意到的API（根據您的上述評論）是一種模仿其他用戶名（如果主服務器允許）的機制，而不是安全措施。

對於（2）：

理論上可以設置儘可能多的配置鍵值參數，你的JVM的內存會讓你的，只要它是mapred.user.jobconf.limit下（默認爲5 MB），作爲受限制JobTracker的。