在配置Hadoop for Lustre時無法啓動名稱節點

我正在嘗試將hadoop與intel光澤集成。我已將hadoop-lustre-plugin-3.1.0添加到hadoop-2.7.3/lib/native文件夾。 Lustre安裝在/mnt/lustre。我收到以下錯誤，當我開始使用Hadoop的start-all.sh在配置Hadoop for Lustre時無法啓動名稱節點

[[email protected] hadoop]# start-all.sh 
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh 
17/04/06 17:36:55 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 
Incorrect configuration: namenode address dfs.namenode.servicerpc-address or dfs.namenode.rpc-address is not configured. 
Starting namenodes on [ ] 
...

核心的site.xml：

<property> 
    <name>fs.defaultFS</name> 
    <value>lustre:///</value> 
</property> 
<property> 
    <name>fs.lustre.impl</name> 
    <value>org.apache.hadoop.fs.LustreFileSystem</value> 
</property> 
<property> 
    <name>fs.AbstractFileSystem.lustre.impl</name> 
    <value>org.apache.hadoop.fs.LustreFileSystemlustre</value> 
</property 
<property> 
    <name>fs.lustrefs.mount</name> 
    <value>/mnt/lustre/hadoop</value> 
    <description>This is the directory on Lustre that acts as the root level for Hadoop services</description> 
</property> 
<property> 
    <name>lustre.stripe.count</name> 
    <value>1</value> 
</property> 
<property> 
    <name>lustre.stripe.size</name> 
    <value>4194304</value> 
</property> 
<property> 
    <name>fs.block.size</name> 
    <value>1073741824</value> 
</property>

maprd-site.xml中

<property> 
    <name>mapreduce.job.map.output.collector.class</name> 
    <value>org.apache.hadoop.mapred.SharedFsPlugins$MapOutputBuffer</value> 
</property> 
<property> 
    <name>mapreduce.job.reduce.shuffle.consumer.plugin.class</name> 
    <value>org.apache.hadoop.mapred.SharedFsPlugins$Shuffle</value> 
</property>

HDFS-site.xml中

<property> 
<name>dfs.name.dir</name> 
<value>/mnt/lustre/hadoop/hadoop_tmp/namenode</value> 
<description>true</description> 
</property>

是是否在配置文件中缺少配置？

來源

2017-04-13 Trupti

你需要光澤透明接入（例如使用HDFS：//的URI，但在後臺達到光澤）？否則，「啓動YARN服務 - 不需要HDFS。在這種情況下，AFS使用Lustre。」根據以下來源：http://cdn.opensfs.org/wp-content/uploads/2014/04/D3_S28_RunHadoopMapReduceJobsonLustre.pdf –

我已經按照pdf中的步驟和使用紗線提交工作，但得到錯誤： – Trupti

'[@ master〜]＃yarn jar /opt/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount/mnt/lustre/file/mnt/luster/hadoop/out 17/04/17 17:21:45 WARN util.NativeCodeLoader：無法爲您的平臺加載native-hadoop庫。在適用的情況下使用builtin-java類java.lang.SecurityException：class「org.apache.hadoop.fs.LustreFileSystem」' s簽名者信息與相同包中其他類的簽名者信息不匹配 – Trupti

由於fs.defaultFS具有光澤特定的URI，因此啓動腳本無法確定Namenode必須啓動的主機。

添加這個屬性在hdfs-site.xml，

<property> 
    <name>dfs.namenode.rpc-address</name> 
    <value>namenode_host:port</value> 
</property>

來源

2017-04-13 12:38:32 franklinsijo

更新後的hdfs-site.xml仍然是namenode未啓動。日誌如下：'$ less hadoop-root-namenode-master.tcs.com.log2017 -04-17 14：37：24,849錯誤org.apache.hadoop.hdfs.server.common。存儲：無法獲取/mnt/lustre/hadoop/namedir/in_use.lock上的鎖定。如果此存儲目錄通過NFS掛載，請確保相應的nfs鎖定服務正在運行。 java.io.IOException：函數未實現 at sun.nio.ch.FileDispatcherImpl.lock0（Native Method）' – Trupti

您是否設置了namenode的格式？ – franklinsijo

是的。我試圖在成功格式化namenode之後啓動hadoop，但仍無法正常工作。 'root @ master〜]＃cd/mnt/luster/hadoop/namedir/current [root @ master current]＃ll total 16 -rw-r - r - 1 root root 350 Apr 17 14:36 fsimage_0000000000000000000 -rw-r - r-- 1 root root 62 Apr 17 14:36 fsimage_0000000000000000000.md5 -rw-r - r-- 1 root root 2 Apr 17 14:36 seen_txid -rw-r-- r - 1 root root 203 Apr 17 14:36 VERSION' – Trupti

在配置Hadoop for Lustre時無法啓動名稱節點

回答

相關問題