如何EMR自動縮放UP/DOWN？

Question

我是AWS EMR的新成員，我需要根據使用情況自動擴展/縮小我的任務節點。我正在考慮在AppPending（向上擴展）和isIdle（向下縮放）CloudWatch警報上添加SNS事件。 我是否正確思考？ 這有什麼好的文檔嗎？ 請指教。

謝謝。

Answer 1

在Amazon EMR內部有沒有內置功能可以根據某個度量標準自動縮放羣集大小。

一種方法是將添加/刪除任務節點作爲作業步驟。這不會根據需求自動縮放，但可以在知道需要大型作業步驟時進行縮放。

例如，如果集羣執行批處理的若干作業的步驟和步驟中的一個需要更多的服務器：

• 創建一個作業步驟，增加了任務節點
• 創建一個作業步執行工作
• 創建一個作業步驟，以去除多餘的任務節點

要真正實現自動化，您將需要監控的指標T買來組合帽子會顯示重載，然後相應地添加/刪除節點。但是，度量的選擇取決於您的特定工作負載。

另一種選擇是爲特定作業啓動羣集，然後在作業完成時終止羣集。

Answer 2

你可以看看Themis，一個在Atlassian開發的EMR自動縮放框架。

當前的功能包括反應式自動縮放（基於當前使用情況）以及主動式自動縮放（基於預定義的時間表）。

該工具還附帶一個簡單的Web UI，配置起來非常簡單。