保障對象的具體節點

Question

說上運行，你有一個火花流設置，如

JavaReceiverInputDStream<...> rndLists = jssc.receiverStream(new JavaRandomReceiver(...)); 

rndLists.map(new NeuralNetMapper(...)) 
    .foreach(new JavaSyncBarrier(...)); 

是否能保證的是，比如說，一個JavaRandomReceiver和JavaSyncBarrier獲得分配到同一個節點什麼辦法？或者這甚至是一個有意義的問題？

有關火花流如何在集羣中工作的一些信息也將不勝感激。

Answer 1

您可以嘗試自定義分區。點擊此鏈接：

https://www.safaribooksonline.com/library/view/learning-spark/9781449359034/ch04.html