在Apache Spark中設置動態分配？

Question

我按照指令here設置YARN資源管理器的動態分配。 Add this jar to the classpath of all NodeManagers in your cluster.

這是否意味着去每個節點服務器和路徑shuffle.jar添加到PATH環境變量：

不過，我一步3困惑？ export=$PATH:<loc-to-shuffle.jar>？

Answer 1

紗線類路徑意味着在所有節點管理器上，請在yarn-site.xml中設置yarn.application.classpath，該紗線包含逗號分隔的CLASSPATH條目列表。

當此值爲空時，將使用YARN應用程序的以下默認CLASSPATH。
對於Linux：$ HADOOP_CONF_DIR，$ HADOOP_COMMON_HOME /股/的Hadoop /普通/ ，$ HADOOP_COMMON_HOME /股/的Hadoop/common/lib目錄/，$ HADOOP_HDFS_HOME /股/的Hadoop/HDFS/，$ HADOOP_HDFS_HOME /股/ Hadoop的/ HDFS/lib目錄/，$ HADOOP_YARN_HOME /股/的Hadoop /紗/ ，$ HADOOP_YARN_HOME /股/的Hadoop /紗/ lib中/
對於Windows：％HADOOP_CONF_DIR％，％HADOOP_COMMON_HOME％/股/的Hadoop /普通/ ， ％HADOOP_COMMON_HOME％/共享/ hadoop的/普通/ LIB/，％HADOOP_HDFS_HOME％/共享/ hadoop的/ HDFS/，％HADOOP_HDFS_HOME％/共享/ hadoop的/ HDFS/LIB/，％HADOOP_YARN_HOME％/共享/ hadoop的/紗線/ ，％HADOOP_YARN_HOME％/ share/hadoop/yarn/lib/

因此，將spark-<version>-yarn-shuffle.jar放在yarn.application.classpath或缺省類路徑目錄中定義的列出的類路徑目錄之一中。

您還可以創建的spark-<version>-yarn-shuffle.jar軟鏈接紗線類路徑目錄

希望這有助於之一...