h2o雲需要大量內存嗎？

Question

我試圖在一個Zeppelin筆記本中使用R在4個數據節點hadoop spark集羣上設置一個H2O雲。我發現，在我的R段停止抱怨內存不足（GC內存不足的java錯誤消息）之前，我必須給每個執行程序至少20Gb的內存。

預計每個執行器需要20Gb的內存來運行H2O雲嗎？或者是否有任何可以更改的配置條目來減少內存要求？

Answer 1

沒有足夠的信息在這篇文章中給出具體細節。但是我會說Java GC消息的存在不一定是問題，特別是在啓動時。在Java程序生命開始時看到一堆GC消息是正常的，因爲堆從無到有擴展到穩態工作規模。

Java GC確實正在成爲一個主要問題的跡象是，當您看到具有幾秒或更長時間的真實掛鐘時間的背靠背全GC循環時。