3
API僅提供在Mapper或Reducer中增加計數器的方法。有沒有辦法設置它？或者無論Mappers和Reducer運行的次數如何，它只會增加一次。有沒有辦法「設置」Hadoop計數器而不是增加它？
A
回答
2
你想達到什麼目的？這本質上是棘手的，因爲如果多個映射器試圖設置計數器呢？誰應該贏？計數器通常只會增加的原因是，這可以通過體系結構非常快速且高效地完成。
1
您不能設置計數器，因爲計數器是從每個任務中求和並彙總到一個頂級計數器中。
我在MapReduce作業中使用了ZooKeeper，用於小型通信或任務之間的協調或標記作業或任務中發生的某些事情。
+0
確實，至少使用Hadoop API無法重置計數器。 –
0
至少正如@orangeoctupus指出的那樣，這也無法從Hadoop API完成。 我用於實現這一目的的方法是在作業的上下文屬性中設置值。最後，可以在作業運行後讀取屬性。非典雅但是解決方法！
0
接口org.apache.hadoop.mapreduce.Counter defines a method setValue，但如果它看起來像基於描述的全局工作，我會同意其他答案，並沒有太多的用例，它也是好主意......
相關問題
- 1. 有沒有辦法增加不太慢的numpy數組？
- 2. 遞增計數器沒有重置
- 3. 有沒有辦法讓參數是var而不是val？
- 4. 有沒有辦法從我的應用程序設置徽章值而不是從服務器獲取它？
- 5. 有沒有辦法讓迭代器每3次增加一次？
- 6. 有沒有辦法來設置開發
- 7. 有沒有辦法設置HttpResponse？
- 8. 有沒有辦法恢復VS2010設置？
- 9. 有沒有辦法在jbutton上設置圖像，而無需在構造函數中設置它？
- 10. 有沒有辦法顯示HTML而不運行它？
- 11. 有沒有辦法增加Bluemix上的服務實例總數？
- 12. 對象引用沒有設置，而SQL管理器說它是
- 13. 有沒有辦法在Hadoop中配置推測執行超時？
- 14. 有沒有辦法重置DbContext而不處理並重新實例化它？
- 15. 有沒有辦法將不同的東西添加到div與計數器？
- 16. 有沒有辦法增加SQL Azure的遠程查詢超時而不增加DTU？
- 17. 算法是指數型的，有沒有辦法讓它不是這樣？
- 18. 是否有辦法將DataRow RowState設置爲ADDED而沒有for循環
- 19. 有沒有辦法增強這個圈子來檢測它？
- 20. 有沒有什麼辦法可以將設置識別爲選項卡而不是iPhone設置菜單？
- 21. 有沒有辦法檢查ansicon.exe是否存在，而不使用CMake運行它？
- 22. ejabberd：有沒有辦法配置一個不同的「cookie」而不是「ejabberd」？
- 23. 有沒有辦法爲「Worklight設置」添加更多屬性？
- 24. 重置變量增加它而不是重置它 - Tkinter
- 25. 有沒有辦法在HttpWebRequest中強制流水線而不設置ServicePointManager.DefaultConnectionLimit？
- 26. 有沒有辦法不加載jQuery？
- 27. 有沒有辦法爲`get-help`設置另一個查看器？
- 28. 自動增加而沒有設置標識
- 29. 有沒有辦法讓codeIgniter輸出html而不是xhtml？
- 30. 有沒有辦法讓pywin32使用vcvars32.bat而不是vcvarsall.bat？
基本目的是將一段信息與作業運行相關聯。 –
日誌可以做到這一點 –