爲什麼由於「容器被調度程序搶佔」而導致mapreduce嘗試被終止？

Question

我只注意到一個事實，即在Hadoop上許多豬的工作被殺害由於以下原因：Container preempted by scheduler

有人能解釋我是什麼原因導致的，如果我應該（和我能夠）做些什麼呢？

謝謝！

Answer 1

如果您擁有公平的調度程序並啓用了許多不同的隊列，那麼優先級更高的應用程序可以以搶先方式終止您的作業。

Hortonworks有更多的細節

https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.2/bk_yarn_resource_mgt/content/preemption.html

如果你做任何事情一個很好的解釋？取決於您的應用程序是否在其SLA內，並在預期範圍內執行。一般的良好做法是審查你的工作優先級和分配給它的隊列。

Answer 2

如果您的Hadoop集羣正在被許多業務部門使用。那麼管理員爲他們決定隊列，每個隊列都有其優先級（這也是由管理員決定的）。如果在調度程序級別啓用搶佔，則較高優先級的應用程序不必等待，因爲較低優先級的應用程序已佔用可用容量。因此，在這種情況下，較低優先級任務必須釋放資源（如果在羣集中不可用），則運行高優先級應用程序。