2010-09-15 61 views
0

我們可以提供輸入文件的映射爲關於輸入到映射功能

FileInputFormat.setInputPaths(CONF,inputPath)Hadoop-基本問題;

是否可以傳遞一個對內存的引用,比如在將xml文件解析爲Hadoop框架的映射函數的輸入後,使用DOM解析器 構建的DOM樹。

還有其他的可能嗎?

感謝, 大號

回答

1

不,你不能指定內存(RAM)的信息。

原因是通常Hadoop應用程序將分佈在很多物理上分離的系統中。當前版本的Hadoop「only」支持使用HDFS的分佈式數據...這是一個文件系統。

您可以做的是將DOM解析器作爲預處理步驟添加到您的映射器,並簡單地將輸入測試文件指定爲輸入。 你可以通過創建你自己的FileInputFormat衍生物來最簡單地做到這一點。

HTH

+0

我一直在做,只有..只是想確保輸入 – lam 2010-09-23 08:42:43

+0

非常感謝您的回答的Hadoop只需要文件 – lam 2010-09-23 09:21:14