如何在ami 4.x中爲hadoop配置python虛擬步驟

Question

在ami 3中存在文件/home/hadoop/conf/hadoop-user-env.sh。我看到的這個遺留代碼能夠在引導中運行這個命令。

echo ". /home/hadoop/resources/pips/bin/activate" >> /home/hadoop/conf/hadoop-user-env.sh 

這將激活Python的虛擬env。

在ami 4這個文件不見了。我想如何讓Hadoop中的Python步驟在虛擬環境下運行在ami 4下？

Answer 1

要給這個鏡頭，並希望它可以幫助你。

在Amazon EMR AMI版本2.x和3.x中，有一個hadoop-user-env.sh腳本，它不是標準Hadoop的一部分，而是與configure-daemons引導操作一起使用來配置Hadoop環境。該腳本包括以下動作：

#!/bin/bash 
export HADOOP_USER_CLASSPATH_FIRST=true; 
echo "HADOOP_CLASSPATH=/path/to/my.jar" >> /home/hadoop/conf/hadoop-user-env.sh 

在亞馬遜EMR 4.x版，您可以使用Hadoop的ENV配置現在做的一樣：

[ 
    { 
    "Classification":"hadoop-env", 
    "Properties":{ 

    }, 
    "Configurations":[ 
     { 
      "Classification":"export", 
      "Properties":{ 
       "HADOOP_USER_CLASSPATH_FIRST":"true", 
       "HADOOP_CLASSPATH":"/path/to/my.jar" 
      } 
     } 
    ] 
    } 
] 

有關於差異和更多信息更換代碼Amazon's Documentation Site。