1
最近有人問我如何處理reduce任務的不平衡輸入。我想了一會兒，試圖重新分配數據，但沒有提出一個好的解決方案。有什麼建議？如何處理reduce任務的不平衡輸入？
A
回答
3
其實你有2種方法。
- 增加減少的數量，所以你的數據可能更可能沿着任務
- 傳播重寫分區的鍵在任務更好地分配。 [1]
[1] http://hadoop.apache.org/common/docs/r0.20.2/api/org/apache/hadoop/mapreduce/Partitioner.html
相關問題
- 1. WCF + SSL如何處理負載平衡？
- 2. 不平衡括號（批處理文件）
- 3. 如何處理高度不平衡的數據集
- 4. 如何處理SVM中的數據不平衡？
- 5. OpenCV中的SVM：如何處理不平衡數據？
- 6. 如果不平衡的處理方法都不起作用
- 7. 算法再平衡的循環任務
- 8. 如何處理ETL任務？
- 9. Python多處理負載平衡器
- 10. MapReduce Multiple Reduce任務
- 11. 如何處理Solr中的負載平衡？
- 12. 如何處理輸入？
- 13. 如何劃分map-reduce任務？
- 14. 如何處理2D平臺遊戲中的複雜輸入？
- 15. 平衡如何平衡B-樹
- 16. 拆分鍵/在地圖中值輸入文件/ reduce任務
- 17. 我們如何使用平衡付款處理付款？
- 18. Xgboost處理不平衡的分類數據
- 19. optaplanner不正確的雲平衡輸出
- 20. 如何處理這種不平衡類別的傾斜數據集？
- 21. 如何處理多標籤分類中的不平衡數據集
- 22. 如何管理負載平衡
- 23. 如何從不平衡轉換爲平衡三態？
- 24. AJAX處理不當輸入
- 25. 星火如何處理部分輸出任務
- 26. Django任務處理
- 27. （）的不平衡度（）
- 28. 在二元分類與類不平衡處理
- 29. 在正則表達式中處理不平衡括號
- 30. 使用權重處理不平衡數據
謝謝你，讓我想起了分區的 –