在EC2上的Hadoop MapReduce的錯誤 - 呼叫從主/ IP掌握：9000失敗

所以我成立了一個簡單的2個節點的Hadoop集羣上的私人AWS VPC。所以我使用的是私有IP和DNS，而不是他們爲您提供AWS的公共IP。在EC2上的Hadoop MapReduce的錯誤 - 呼叫從主/ IP掌握：9000失敗

我有HDFS和運行，我可以使用文件系統來創建和移動文件/目錄。但是，當我試圖運行簡單的MapReduce工作，如單詞計數，我收到以下錯誤：

Call From master/10.205.232.248 to master:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused 
java.net.ConnectException: Call From master/10.205.232.248 to master:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused

我的/ etc/hosts文件看起來像這樣：

10.205.232.248 <master_hostname> ip-10-205-232-248 master 
10.205.232.249 <slave_hostname> ip-10-205-232-249 slave 
127.0.0.1 localhost.localdomain localhost 
127.0.0.1 localhost4.localdomain4 localhost4

我的核心-site.xml中：

<property> 
<name>fs.defaultFS</name> 
<value>hdfs://master:9000</value> 
</property>

我mapred-site.xml中：

 <property> 
       <name>mapreduce.framework.name</name> 
       <value>yarn</value> 
     </property> 
     <property> 
       <name>mapred.job.tracker</name> 
       <value>10.205.232.248:9001</value> 
     </property>

我的紗線的site.xml：

 <property> 
       <name>yarn.nodemanager.aux-services</name> 
       <value>mapreduce_shuffle</value> 
     </property> 
     <property> 
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 
       <value>org.apache.hadoop.mapred.ShuffleHander</value> 
     </property>

有我忽視什麼樣的配置設置來得到這個連接錯誤？謝謝！

來源

2016-11-29 Austin Bae

檢查防火牆機器和端口在AWS安全組（入站和出站）

來源

2016-11-30 06:06:37

我也開了，它是開放的所有端口。 –

登錄到主站和從站節點。 –

在EC2上的Hadoop MapReduce的錯誤 - 呼叫從主/ IP掌握：9000失敗

回答

相關問題