如何在非Java客戶端從HDFS讀取文件

Question

因此，我的MR作業生成一個報告文件，並且該文件需要能夠由需要點擊普通網頁上的按鈕的最終用戶下載報告界面，並讓它下載輸出。根據this O'Reilly book excerpt，有一個HTTP只讀接口。它表示它基於XML，但它似乎只是一個普通的Web界面，旨在通過Web瀏覽器進行查看，而不是通過編程方式查詢，列出和下載的內容。我唯一的辦法是編寫自己的基於servlet的界面嗎？或者執行hadoop cli工具？

Answer 1

通過使用Trift以編程方式從Java以外的其他程序訪問HDFS的方式。 HDFS源代碼樹中包含多種語言（Java，Python，PHP，...）的預生成客戶端類。

見http://wiki.apache.org/hadoop/HDFS-APIs

Answer 2

恐怕你可能不得不與CLI AFAIK解決。

不知道它是否適合您的情況，但我認爲將作業結束後執行hadoop dfs -get ...的任何腳本發送到已提供的已知目錄將是合理的。

對不起，我不知道更簡單的解決方案。