來自內存的對象作爲Hadoop/MapReduce的輸入？

Question

我工作的並行算法，大致具有以下功能：

1. 閱讀一些文本文檔，共10K字。
2. 爲文本語料庫中的每個單詞創建一個對象。
3. 在所有單詞對象（是，O（n））之間創建一個對。並返回最頻繁的對。

我想通過創建之間的對並行化3步驟中的第一字1000的對象的拳頭機上的其餘部分，下一個機器上的第二1000字對象等

我的問題是如何將在第2步中創建的對象傳遞給Mapper？據我所知，我會需要這個輸入文件，因此需要序列化對象（雖然以前沒有用過）。有沒有直接的方法將對象傳遞給Mapper？

在此先感謝您的幫助

葉夫根

UPDATE 感謝您閱讀之前，我的問題。序列化似乎是解決此問題的最佳方法（請參閱java.io.Serializable）。此外，我發現這個教程很有用，可以將序列化對象中的數據讀入hadoop：http://www.cs.brown.edu/~pavlo/hadoop/）。

Answer 1

如何平行化所有步驟？將您的＃1文本文檔用作Mapper的輸入。爲Mapper中的每個單詞創建對象。在Mapper中，您的鍵值對將是單詞對象（或對象詞取決於您在做什麼）。然後Reducer可以計算唯一的對。

Hadoop將負責將所有相同的密鑰放在一起放入同一個Reducer中。

Answer 2

使用twitter protobufs（elephant-bird）。將每個單詞轉換爲protobuf對象並根據需要進行處理。與默認的Java序列化相比，protobufs更快更輕。請參閱Kevin Weil關於此的演示。 http://www.slideshare.net/kevinweil/protocol-buffers-and-hadoop-at-twitter