2016-12-15 59 views
0

我開始瞭解的Map Reduce,如果它要爲我試圖解決這個問題的工作,我不能弄明白生成的數據。的Map Reduce上被沿

從我讀,你開始的數據量巨大,然後你做的地圖和減少步驟獲得從該數據的結果。

,我試圖解決的問題有兩個階段: 1.生成 2.修剪

基本上當我跑我從頭開始的方案,沒有數據,但產生相位寫道件的數據轉換成文件。修剪階段刪除一些對稱或包含在另一個數據中的數據。但這與我的問題無關。

什麼是相關的是,我開始從劃傷,0字節的數據,並作爲程序運行數據龐大金額將產生(它會爲諸如One運行一週)(GB的甚至數據的結核病)。我可以在這種類型的問題中使用MapReduce方法嗎?在數據最初不存在,或者它是非常非常小的,但是在程序運行時,數據更新,並且在尺寸上非常大的?

回答

0

嗯,是的,你爲什麼不能夠?

從技術上講,如果你有reduce你圖靈完備,所以你可以運行在一個MapReduce的集羣什麼。

哦,你可能會想,以量化「巨大的」。