如何在hdfs上使用hadoop流式傳輸數據集grep

我有一個巨大的數據集躺在hdfs中，我想grep一些術語。什麼是haddop streaming命令相同？（請參閱我不;噸要使用PIG）如何在hdfs上使用hadoop流式傳輸數據集grep

2016-07-25 ravi

你可以使用這個命令： -

Hadoop的罐子{} path_to_jar /hadoop-streaming.jar -Dmapreduce.job.queuename =默認-Dstream。非輸出/ tmp/{輸入路徑} '

2016-07-25 23:59:49 sorabh

謝謝，它的工作！只是好奇--Dstream.non.zero.exit.is.failure = false在這裏做了什麼？ – ravi

沒有這個映射器將失敗，無論這個搜索條件沒有找到 – sorabh

回答