我正在研究一個研究項目,我需要爲HDFS創建某種代理,以便我們可以將呼叫捕獲到HDFS並應用某些訪問/拒絕(文件)策略,然後將其返回給用戶。對於像HttpF和WebHDFS這樣的HDFS接口,設計代理系統很容易,因爲它們使用HTTP與客戶端進行通信。但HDFS驅動程序使用協議緩衝區定義的協議在客戶端和名稱節點之間進行通信。 HDFS代碼中是否有鉤子來設計HDFS本機協議的代理。 Hadoop的版本是2.6。我們如何開發一個HDFS代理(Hadoop分佈式文件系統)
0
A
回答
0
像你提到的WebHDFS一樣,外部(周邊)安全是一回事。您可以擴展提交工作等(其實它已經完成看apache knox)
其他這不是代理,而是FileSystem類的替代實現。也已實施多次 - 您可以查看更多信息here
2
Apache Knox可能是也可能不是您正在尋找的。上面的答案Arnon沒有正確的網址。請參閱:http://knox.apache.org/
我們並沒有建在所提供的授權提供文件級的ACL,但您可以創建自定義供應商和插件在
請記住,諾克斯是WebHDFS訪問的代理和。不會直接通過HDFS訪問文件。
因此,在直接訪問相同文件時,在網關完成的任何授權檢查都不會完成。這就是爲什麼我們通常在網關進行服務級別授權檢查,並在資源本身上進行細粒度的授權檢查。
希望這對你有用。
相關問題
- 1. 分佈式開發系統
- 2. 如何控制hadoop分佈式系統中不同從站的文件分配?
- 3. 如果我們劃分一個C + A分佈式系統會怎樣?
- 4. HDFS以外的文件系統支持Hadoop序列文件
- 5. 在僞分佈式hadoop模式下管理hdfs
- 6. 如何將Hadoop MapReduce與HDFS分開?
- 7. 的Hadoop文件系統是物理文件系統或虛擬文件系統
- 8. 如何用Apache CXF D-OSGi開發分佈式系統?
- 9. 分佈式文件系統.NET
- 10. 不可能從地圖寫入到hadoop文件系統(HDFS)
- 11. 分佈式系統
- 12. 如何將文件從本地文件系統複製到HDFS文件系統?
- 13. CoreOS和HDFS - 在Linux Containers/Docker中運行分佈式文件系統
- 14. 我可以使用WCF服務,開發分佈式系統(中間件)
- 15. 文件系統開發
- 16. 如何製作網站,使用分佈式文件系統 - hadoop進行數據管理
- 17. Hadoop with phoenix:如何將phoenix表格對象寫入hdfs文件系統
- 18. 分析分佈式系統
- 19. 在分佈式版本控制系統(bazaar)中開發一個庫
- 20. hadoop命令在HDFS上拆分文件
- 21. 任何開源發佈管理系統,如codeplex或sourceforge?
- 22. 如何從一個HDFS文件中的Hadoop
- 23. 幫助開發一個MCQ評分系統開發
- 24. 作爲網格開發分佈式系統
- 25. 分佈式數據庫管理系統 - 替代方案?
- 26. Hadoop分佈式緩存處理大查找文本文件
- 27. Hadoop文件系統統計信息(FileSystem.Statistics)
- 28. 服務器如何成爲分佈式系統的一部分?
- 29. Java分佈式系統
- 30. 分佈式系統設計