如何部署Spark，它可以使資源利用率最高

Question

我有10臺服務器（16G內存，8個內核）並且想要部署Hadoop和Spark，你能告訴我哪個計劃可以最大限度地利用資源嗎？

1. 立即部署;

2. 安裝Openstack，將環境部署到虛擬機中;

3. 使用Docker，例如Docker上的Spark;

我知道與使用場景相關的資源利用率，實際上我想知道上面三個計劃的優缺點。

謝謝。

Answer 1

爲獲得最高的資源利用率，爲Spark和Hadoop部署單個資源管理器將是最佳途徑。有兩種選擇：

• 使用YARN部署Hadoop集羣，因爲Spark可以在YARN上運行。
• 部署Apache Mesos集羣，並在其上運行Hadoop作業和Spark。

隔離Spark集羣和Hadoop集羣沒有提供這方面的優勢，並且會導致更高的開銷和更低的資源利用率。