不匹配執行程序（在YARN僞分佈模式下的Spark）

我正在運行使用YARN（Hadoop 2.6）作爲集羣管理器的Spark。 YARN以僞分佈模式運行。我已經開始與6個執行人火花外殼，並期待着同不匹配執行程序（在YARN僞分佈模式下的Spark）

spark-shell --master yarn --num-executors 6

但是，儘管在Spark的Web UI，我看到的只有4執行人

enter image description here

的任何原因？

PS：我在我的Ubuntu（14.04）中運行了nproc命令，結果如下。我相信，這意味着，我的系統擁有8個內核

[email protected]:~$ nproc 
8

2015-06-21 Raj

也許沒有足夠的硬件資源來啓動所有6個執行程序。你爲YARN集羣預留了多少內存？檢查YARN資源管理器用戶界面Web界面。 – vanekjar

@vanekjar。從資源管理器用戶界面：總內存 - > 8 GB，VCores總數 - > 8.這裏有什麼限制？ – Raj

http://stackoverflow.com/questions/24622108/apache-spark-the-number-of-cores-vs-the-number-of-executors?rq=1檢查此鏈接 –

你的帳戶spark.yarn.executor.memoryOverhead走？它創造了隱藏的內存需求和finaly紗線不能提供全部資源。另外，請注意，紗線輪容器大小yarn.scheduler.increment-allocation-mb。所有的細節在這裏： http://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-2/

2015-07-14 16:35:30 Mijatovic

回答