Spark如何限制cpu核心和內存的使用？

Question

Spark如何限制cpu核心和內存的使用？它使用cgroups嗎？紗線怎麼樣？

Answer 1

獨立羣集Spark僅使用提供的資源池管理應用程序預定義的資源配置。資源池基於執行者組合在一起，作爲集羣添加到集羣中。 紗線使用容器和資源限制應用容器的配置，它定義了最小和最大的核心和內存分配。

Answer 2

紗線節點管理器是監測火花執行人內存使用和殺死他們，如果他們使用上面spark.executor.memory

在CPU的情況下，spark.executor.cores是併發任務量執行者可以運行。有關Spark Configuration Documentation的更多信息

您可以啓用cgroups in yarn並限制CPU使用率或YARN容器（火花執行器）。