從hdfs到servlet獲取文件/目錄列表

Question

我想在java中創建一個可以列出瀏覽器中所有HDFS文件/目錄的web應用程序。

任何人都可以建議我怎麼可能？ 我試圖從谷歌獲得幫助，但我無法找到任何方向。

Answer 1

您可以使用HDFS Web UI（在Apache http://namenodehost:50070中）。

但是Hadoop HDFS也提供了REST API，爲完成HDFS的FileSystem/FileContext接口提供支持。

讓我們舉個例子來列出指定HDFS位置

請求的文件/目錄：

curl -i "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=LISTSTATUS" 

響應：

HTTP/1.1 200 OK 
Content-Type: application/json 
Content-Length: 427 

{ 
    "FileStatuses": 
    { 
    "FileStatus": 
    [ 
     { 
     "accessTime"  : 1320171722771, 
     "blockSize"  : 33554432, 
     "group"   : "supergroup", 
     "length"   : 24930, 
     "modificationTime": 1320171722771, 
     "owner"   : "webuser", 
     "pathSuffix"  : "a.patch", 
     "permission"  : "644", 
     "replication"  : 1, 
     "type"   : "FILE" 
     }, 
     { 
     "accessTime"  : 0, 
     "blockSize"  : 0, 
     "group"   : "supergroup", 
     "length"   : 0, 
     "modificationTime": 1320895981256, 
     "owner"   : "szetszwo", 
     "pathSuffix"  : "bar", 
     "permission"  : "711", 
     "replication"  : 0, 
     "type"   : "DIRECTORY" 
     }, 
     ... 
    ] 
    } 
} 

link