wordcount未在Cloudera中運行

我在Amazon EC2的Linux RHEL 7.2實例中安裝了Cloudera 5.8。我已經登錄使用SSH，我試圖運行測試使用以下命令精簡操作的單詞計數例子：wordcount未在Cloudera中運行

hadoop jar /opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar wordcount archivo.txt output

的問題是，單詞計數程序被阻止，它不產生輸出。僅提示以下內容：

16/08/11 13:10:02 INFO client.RMProxy: Connecting to ResourceManager at ip-172-31-22-226.ec2.internal/172.31.22.226:8032 

16/08/11 13:10:03 INFO input.FileInputFormat: Total input paths to process : 1 

16/08/11 13:10:03 INFO mapreduce.JobSubmitter: number of splits:1 

16/08/11 13:10:04 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1470929244097_0007 

16/08/11 13:10:04 INFO impl.YarnClientImpl: Submitted application application_1470929244097_0007 

16/08/11 13:10:04 INFO mapreduce.Job: The url to track the job: http://ip-172-31-22-226.ec2.internal:8088/proxy/application_1470929244097_0007/ 

16/08/11 13:10:04 INFO mapreduce.Job: Running job: job_1470929244097_0007

然後從「正在運行的作業」開始被阻止。在此之後，我必須按Ctrl + C進行取消阻止，並且不會生成輸出。

任何人都知道爲什麼？我認爲這可能是一個配置問題，我是DataNodes等的新手。

非常感謝。

來源

2016-08-11 digito

看起來像沒有資源（地圖或減速機插槽），作業正在等待資源。您可以檢查作業狀態。

http://ip-172-31-22-226.ec2.internal:8088

來源

2016-08-12 05:29:01 vgunnu

對於瀏覽該URL，我必須更改EC2儀表板中的安全組以允許8088端口。該頁面的結果是，我有4個應用程序正在等待，但0個應用程序正在運行，已完成0個。爲什麼會這樣？ – digito

正如預期的工作正在等待資源...檢查資源管理器日誌，你會發現更多的信息。 – vgunnu

謝謝你的回答。在谷歌，我無法找到資源管理器日誌的位置。我找到了完成作業的命令（紗線日誌--applicationId applicationId），但沒有爲空閒作業工作......請問，你在哪裏看到日誌？ – digito

wordcount未在Cloudera中運行

回答

相關問題