YARN保留內存問題

當使用帶YARN的FIFO調度程序時（FIFO默認是正確的？），我發現YARN保留一些內存/ CPU來運行應用程序。我們的應用程序不需要保留任何這些內容，因爲我們希望固定數量的內核根據用戶的帳戶執行任務。這個保留的內存使我們的計算不準確，所以我想知道是否有任何方法可以解決這個問題。如果不能刪除它，我們正在嘗試擴展集羣（我們正在使用GCP上的dataproc），但沒有正常的停用，縮小集羣正在關閉作業。YARN保留內存問題

有什麼辦法擺脫保留內存？
如果不是，是否有任何方法可以實現紗線的優美退役 2.8.1？我發現3.0.0 alpha（GCP只有beta版本）的情況下，但找不到2.8.1的任何工作指令。'

在此先感謝！

來源

2017-08-30 Yong Hyun Kwon

僅供參考，在Dataproc 1.2中，我們將YARN配置爲在容量調度程序中使用公平排序。 https://issues.apache.org/jira/browse/YARN-3319。所以現在公平的安排。 –

這是你正在談論的保留內存？：https://stackoverflow.com/questions/28566468/what-is-memory-reserved-on-yarn –

@KarthikPalaniappan是的，這是保留的內存 –

關於2，Dataproc支持YARN graceful decommissioning，因爲Dataproc 1.2使用Hadoop 2.8。

來源

2017-09-01 23:01:21

它說它的beta版...不知道現在是否安全使用它 –

我們最初推出的功能作爲「測試版」，以確保我們沒有錯過任何明顯的問題。 FWIW我已經使用了數十次優雅的退役，並且按預期工作。我們的API主要是圍繞YARN本地退役（在2.8.0版本中推出）的封裝。如果您確實嘗試過，請隨時舉報任何問題。 –

YARN保留內存問題

回答

相關問題