在亞馬遜Mapreduce中運行的豬腳本中的STREAM關鍵字

我有一個豬腳本，它激活了另一個python程序。我可以在自己的hadoop環境中這樣做，但是當我在亞馬遜地圖中運行我的腳本時，我總是失敗減少WS。在亞馬遜Mapreduce中運行的豬腳本中的STREAM關鍵字

日誌說：

org.apache.pig.backend.executionengine.ExecException：ERROR 2090：接收的錯誤在處理減少計劃： '' 失敗，退出狀態：127 在org.apache.pig .backend.hadoop.executionengine.mapReduceLayer.PigMapReduce $ Reduce.runPipeline（PigMapReduce.java:347） at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigMapReduce $ Reduce.processOnePackageOutput（PigMapReduce.java:288） at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigMapReduce $ Reduce.reduce（PigMapReduce.java:260） at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigMapReduce $ Reduce.reduce（PigMapRed uce.java:142）在org.apache.hadoop.mapred.ReduceTask.run（ReduceTask.java:321）在org.apache.hadoop.mapred.TaskTracker $ Child.main（TaskTracker.java:2216）

任何想法？

來源

2010-01-24 sagie

問題解決了！我需要的是在定義流命令時使用緩存（'s3：//'）選項

來源

2010-01-24 16:57:21 sagie

您是否介意顯示您的工作實施？我在同一條船上 - 我可以得到一個python UDF以本地模式運行，但是當我將它部署到我的集羣時失敗。 – 2010-07-15 00:35:02

您是否確定該腳本已發送到Elastic MapReduce作業？

來源

2010-01-24 14:06:32 Theo

不需要。我該如何檢查它？ – sagie 2010-01-24 14:09:06

不確定，但您可以嘗試將腳本路徑指定爲完整的URL，包括s3：//以及所有這些，就像使用JAR一樣。請參閱http://docs.amazonwebservices.com/ElasticMapReduce/latest/DeveloperGuide/index.html?introduction.html#UsingJarsWithPig – Theo 2010-01-28 08:56:29

在亞馬遜Mapreduce中運行的豬腳本中的STREAM關鍵字

回答

相關問題