的Hadoop名稱節點 - 用於用戶匿名的，你組

我檢查我的名節點的日誌，我發現這一點：的Hadoop名稱節點 - 用於用戶匿名的，你組

2016-06-04 03:09:28,843 INFO BlockStateChange (BlockManager.java:computeReplicationWorkForBlocks(1527)) - BLOCK* neededReplications = 0, pendingReplications = 0. 
2016-06-04 03:09:28,960 WARN security.UserGroupInformation (UserGroupInformation.java:getGroupNames(1521)) - No groups available for user anonymous 
... (x8) 
2016-06-04 03:09:29,119 WARN security.UserGroupInformation (UserGroupInformation.java:getGroupNames(1521)) - No groups available for user anonymous 
2016-06-04 03:09:29,945 INFO hdfs.StateChange (FSNamesystem.java:completeFile(3503)) - DIR* completeFile: /spark-history/.abde470b-daaa-4dc7-9097-35d778fe3a5a is closed by DFSClient_NONMAPREDUCE_1292395454_1

在這個時候，有羣集上沒有處理，沒有人再努力它。此警告隨機出現在日誌中。

經過進一步的調查，沒有用戶匿名創造，我發現一無所知..

你有任何想法哪裏看？這個用戶是「匿名」的？謝謝。

來源

2016-06-10 Mouette

此警告通常表示您的用戶在Hadoop集羣中的所有節點的主機操作系統中未定義/可見。 Hadoop代碼通過諮詢底層操作系統來確定用戶的組成員集。如果用戶在OS層未知，那麼Hadoop會看到一組空白的組成員並記錄此警告。

典型的修復方法是確保用戶在集羣中的所有節點上定義，例如通過運行useradd。對於大型生產集羣來說，與集中式LDAP服務器集成顯然使得這種集羣更易於管理。

或者，您可以選擇忽略該警告。如果您的應用程序不依賴任何組的成員身份（例如授予對組訪問權限的HDFS文件權限），那麼對於您的用例來說，這可能是可以接受的。

你可以看到HDFS用戶hdfs-site.xml

有關詳細信息，請參閱的答案HDFS permission guide

來源

2016-06-10 12:52:12

感謝。任何關於哪個用戶沒有定義的想法？ – Mouette

的Hadoop名稱節點 - 用於用戶匿名的，你組

回答

相關問題