當處理查詢流到同一個數據集時的高效MapReduce

Question

我有一個巨大的靜態數據集，我有一個函數可以應用到它。 f是形式reduce（map（f，dataset）），所以我會使用MapReduce骨架。但是，我不想在每次請求時分散數據（理想情況下，我想利用索引來加速f）。有一個MapReduce實現來解決這個一般情況？

我已經採取了看看IterativeMapReduce，也許它的工作，但似乎爲解決一個稍微不同的情況下，代碼還不可用。

Answer 1

的Hadoop的MapReduce（和所有其他的映射簡化骨架由谷歌的啓發）不會飛散的數據所有的時間。