從Eclipse Kepler運行Hadoop MapReduce WordCount程序並使用位於Mapreduce(hadoop-mapreduce-example-2.6.0.jar)中的預定義jar文件運行它有什麼區別。 與速度,性能等有什麼區別。Hadoop Mapreduce wordcount
0
A
回答
2
沒有區別。只要當你的輸入是巨大的,並且你的映射器/縮減器運行在多個節點上時,你會看到顯着的性能改進,因爲現在單詞計數將在不同的機器上並行完成。
1
當您從eclipse運行map-reduce(即沒有構建.jar並通過點擊運行程序直接運行)時,您實際上正在運行僞模式(主要用於測試目的)的map-reduce。
要以僞模式運行程序,您並不需要安裝hadoop。你只需要hadoop jar文件。
但是,當您使用hadoop-mapreduce-example-2.6.0.jar(即,編寫命令在終端上運行它)時,您實際上正在運行livered羣集(Hadoop)上的mapreduce。爲此,您需要啓動並運行Hadoop羣集。
相關問題
- 1. Hadoop的 - 經典的MapReduce WORDCOUNT
- 2. hadoop mapreduce
- 3. 編譯Hadoop wordcount教程 - hadoop 2.6.3
- 4. R中的Hadoop wordcount示例
- 5. Hadoop MapReduce wordcount教程錯誤:輸入路徑不存在
- 6. 無法執行基本的Hadoop Mapreduce Wordcount示例
- 7. 瞭解Hadoop的WORDCOUNT例如
- 8. bigdata hadoop java codefor wordcount modified
- 9. Hadoop MapReduce,Java執行問題
- 10. 訪問hbase表fron hadoop mapreduce
- 11. hadoop的Dumbo mapreduce
- 12. Hadoop中的MapReduce
- 13. hadoop mapreduce teragen FAIL_CONTAINER_CLEANUP
- 14. hadoop mapreduce兩種
- 15. Hadoop和MapReduce
- 16. Java:執行Hadoop MapReduce有一些問題
- 17. MapReduce wordcount獲得唯一密鑰
- 18. Hadoop Maven依賴MapReduce
- 19. mapreduce中的reducers hadoop
- 20. NoClassDefFoundError:org/json/JSONObject - Hadoop MapReduce
- 21. 運行WordCount時輸入路徑不存在MapReduce
- 22. Hadoop WordCount示例 - 實現分類
- 23. 運行的Hadoop wordcount的例子
- 24. 如何使用eclipse debug hadoop wordcount?
- 25. WORDCOUNT C++的Hadoop管道不起作用
- 26. 使用Hadoop MapReduce進行圖像處理
- 27. 在多節點羣集上運行mapreduce wordcount(Java代碼)
- 28. bin/hadoop jar hadoop-0.20.0-examples.jar wordcount/tmp/gutenberg gutenberg-output
- 29. MapReduce WordCount程序 - 輸出與輸入文件相同
- 30. Hadoop eclipse mapreduce不起作用?
你的意思是運行映射器和減速器在不同的系統! – 2015-02-07 15:33:43
是的,你會有不同機器上運行的多個mapper/reducer實例,並且所有這些實例都會並行處理你的請求。 – SMA 2015-02-07 15:35:57