對於MapReduce作業，使用1個4核的機器和4個1核的機器相同？

Question

我在Google Cloud上創建了一個集羣，他們讓我選擇要使用多少臺計算機以及每臺計算機上應該安裝多少個核心。如果我想運行MapReduce作業，請求8臺帶有1個內核的機器和每臺需要2個4內核的機器有什麼實際區別？

Answer 1

你在標題和正文中的問題是不同的。

在4x1core和1x4core之間進行選擇時，後者具有數據局部性的優勢 - 映射器和縮減器之間沒有數據傳輸，所有數據都在同一臺機器上。

要考慮的另一個重要因素是RAM的數量。如果你不得不選擇1臺16GB內存的機器和8臺2GB內存的機器，你最好選擇第一個選項，因爲有些算法需要在內存中加載大量內存，而且你只能使用小內存運行它們。

要記住的最後一件事：對集羣中所有機器配置相同的配置很重要，否則有些配置會提前完成並等待慢速配置。如果集羣將增長，現在選擇最合適的配置。

長話短說：在大多數情況下，高端機器的性能會更好。如果可以，請選擇它們。