Hadoop上的Spark YARN - 執行器丟失

Question

我有一個運行Hadoop和Spark-1.5.2的3個macOS機器集羣（儘管Spark-2.0.0存在同樣的問題）。使用'yarn'作爲Spark主URL時，我遇到了一個奇怪的問題，即任務只分配給3臺機器中的2臺。

基於Hadoop儀表板（主站上的端口8088），顯然所有3個節點都是集羣的一部分。但是，我運行的任何Spark作業僅使用2個執行程序。

例如這裏是在JavaWordCount例的冗長運行「執行人」選項卡： 「batservers」是主。應該有一個額外的奴隸，「batservers2」，但它只是不存在。

爲什麼會這樣呢？

請注意，除了爲YARN資源和節點管理器提供額外內存的規定外，我的YARN或Spark（或者HDFS）配置都不常見。

Answer 1

值得注意的是，時採取了一個詳細的看看火花提交幫助信息，發現了答案：

紗只：

...

--num-執行者數量要啓動的執行程序數量（默認值：2）。

如果我在我的spark-submit命令中指定了--num-executors 3，則使用第3個節點。