Zeppelin和Spark配置

我在本地主機上使用Spark（2.1.1）上的Zeppelin（0.7.1），並嘗試將一些配置值添加到我運行的作業中。Zeppelin和Spark配置

具體來說，我試圖設置elasticsearch-hadoop的es.nodes值。

我試着向解釋器配置中添加鍵值，但沒有在sc.getConf中顯示。添加到解釋器的「args」配置鍵中，「--conf mykey：myvalue」的值也沒有註冊。這不是火花解釋器配置應該做什麼？

2017-06-04 Oren

嗨，你嘗試使用'sc.setConf'嗎？ https://www.elastic.co/guide/en/elasticsearch/hadoop/current/spark.html#spark-native-cfg – 1ambda

AFAIK Zeppelin自行創建了sparkcontext，我無法在該段落內重新創建它，我可以在手邊添加配置標誌嗎？如果有人有這個工作，請讓我知道。 – Oren

顯然這是Zeppelin的一個有意改變，不久前實施... 它只允許spark。*屬性被委託給SparkConf。我提交了一條評論來改變這一點，因爲我認爲這是有問題的。 https://github.com/apache/zeppelin/pull/1970

2017-06-04 20:44:03 Oren

回答