分配給節點的作業數據分割如何？

Question

我有興趣修改輸入數據分割作業的方式分配給特定節點。

我經歷了hadoop的JobInprogress代碼，但無法知道實際的分配是如何發生的。

作業的輸入拆分如何分佈在集羣的各個節點上？

我需要通過哪些Hadoop文件瞭解分配情況？

Answer 1

像MultiFileInputFormat這樣的每個輸入格式實現了計算InputSplits的InputFormat#getSplits()方法。