hadoop的Dumbo mapreduce

Question

我想在hadoop集羣上運行Dumbo MapReduce命令，但得到以下錯誤。

15/03/02 17:55:28錯誤streaming.StreamJob：作業不成功。錯誤：無 15/03/02 17:55:28 INFO streaming.StreamJob：killJob ... Streaming Command Failed！

看來我需要提供Hadoop streaming jar的路徑。 我怎樣才能找到這個和什麼是Hadoop流媒體jar？

我的小飛命令如下：

小飛開始test_dumbo6.py -hadoop /應用/ Hadoop的Hadoop的流/ - 輸入 - 輸出/storage/user/jj/json.log ipcounts2

Answer 1

文件：http://hadoop.apache.org/docs/r1.2.1/streaming.html

Hadoop streaming是hadoop內核的一部分，所以應該在$ Hadoop_HOME/lib目錄中可用。

-libjar <path_to_jar> 

：

這個庫可以通過添加額外的參數被添加到您的工作