更改CDH中的Python路徑pyspark

Question

我需要更改正在與我的CDH5.5.1羣集一起使用的python。我的研究指出我在spark-env.sh中設置了PYSPARK_PYTHON。我嘗試手動沒有成功。然後，我使用Cloudera Manager在「Spark Service Environment高級配置代碼段」和「Spark Service高級配置代碼段」&中設置了有關引用spark-env-sh的其他地方的變量。這沒有奏效，我迷失在下一步。

Answer 1

您需要的PYSPARK_PYTHON變量添加到紗構造： YARN (MR2 Included) Service Environment Advanced Configuration Snippet (Safety Valve) 做到這一點，重新啓動羣集，你是好去。