我使用spark來執行map-reduce作業,但我遇到的一個問題是,當一個工作人員完成其任務份額並且其他工作人員將任務列入其任務列表中時,空閒工作人員只是閒置。 Ignite支持作業竊取,因此當工作人員處於空閒狀態時,可以從其他工作人員獲取任務隊列。Ignite上的Spark是否使用Ignite的作業竊取?
IgniteRDD是在Ignite集羣上運行的火花RDD的實現。我想知道是否我所有的spark RDD map reduce代碼都保持不變,但將其設置爲具有作業竊取算法設置的點火羣集,並將Spark JavaRDD更改爲IgniteRDD,這樣它是否會尊重作業竊取設置,還是會與舊作相同爲工作者算法啓動靜態分區。
我試過搜索,但還沒有確定的答案。另外,需要做大量的工作來獲得點燃的東西來測試,所以我想IDE首先要問。