spark獨立羣集 - 創建輸出文件時的特權問題

我正在使用nfs在主機和輔助機器之間共享文件的spark獨立羣集（Linux平臺和python應用程序）。我嘗試使用一臺主機和一臺工作機，並能夠提交應用程序，它在工作機上運行，但無法創建輸出文件（使用spark saveAsTextFile），拋出mkdir失敗錯誤。在master和worker機器中，nfs目錄都有創建和刪除文件的權限，我可以手動創建它，但當spark嘗試在該目錄內創建文件時，它會創建臨時文件夾（_temporary和0文件夾），但無法創建零件文件。我曾嘗試使用「chmod -R 777」，但仍然失敗。有什麼辦法可以使它工作！spark獨立羣集 - 創建輸出文件時的特權問題

在此先感謝

來源

2017-04-20 Geetha Ponnusamy

這似乎是一個特權問題。當您在NFS，你必須提供使用

CHOWN username目錄權限的目錄：在NFS目錄

的組名路徑，那麼就必須使用特權用戶或組運行的火花應用。

如果您仍然面臨這個問題你可以試試NFS目錄

然後再試試這些

chgrp命令組名路徑，在NFS目錄的

搭配chmod 777路

這可能有效。

所有最優秀的

來源

2017-04-28 10:55:42

是的，你是正確的，我想這和它的作品..但對於性能問題，讓我感動而不是HDFS的NFS –

spark獨立羣集 - 創建輸出文件時的特權問題

回答

相關問題