星火殼錯誤：錯誤SparkDeploySchedulerBackend：要求刪除不存在的執行11

Question

每當我開始MAPR沙箱火花殼我不斷收到此錯誤

ERROR SparkDeploySchedulerBackend: Asked to remove non-existent executor 11 

請幫我解決這個錯誤。

Answer 1

使用hostname命令來查找主機名，然後使用命令

bin/spark-shell --master spark://your-host-name:7077

Answer 2

我面臨着類似的問題，它得到了執行這些步驟後解決：

1. 重新啓動你的火花，主使用此命令： maprcli節點服務名稱spark-master -action重啓-filter csvc == spark-master

2. 個

   開始工作節點： /opt/mapr/spark/spark-1.3.1/sbin/start-slaves.sh

3. 現在，運行火花外殼： 的/ opt/MAPR /火花/火花-1.3.1/bin/spark-shell

希望這會有所幫助！

Answer 3

我在爲遠程調試設置SPARK_JAVA_OPTS時遇到了此問題，但實際上並未將我的IDE調試器連接到Spark應用程序。

我發現這個時候我在星火UI看着workers下的執行人stdout/stderr，並注意到以下幾點：

FATAL ERROR in native method: JDWP No transports initialized, jvmtiError=AGENT_ERROR_TRANSPORT_INIT(197)

Answer 4

贊成的Google誰在這裏得到了錯誤日誌的原因： 當我們嘗試在羣集外部啓動zeppelin時，我們遇到了同樣的問題，我們發現問題在於工作人員和驅動程序之間沒有任何關聯。

底線：打開worker和客戶端/主節點之間的所有tcp端口 - 兩種方式！