我們知道map有兩部分'chunk and combine',並減少了3部分'shuffle,sort and reduce'。 在hadoop源代碼中,具有每個零件時間的命令是什麼,命令在hadoop源代碼中用於映射時間和縮短時間
0
A
回答
0
有一個JobTracker的API用於在網絡環境中提交和跟蹤MR作業。 檢查此以瞭解更多詳情。 https://hadoop.apache.org/docs/r1.0.4/api/org/apache/hadoop/mapred/JobTracker.html
TaskReport[] maps = jobtracker.getMapTaskReports("job_id");
for (TaskReport rpt : maps) {
System.out.println(rpt.getStartTime());
System.out.println(rpt.getFinishTime());
}
TaskReport[] reduces = jobtracker.getReduceTaskReports("job_id");
for (TaskReport rpt : reduces) {
System.out.println(rpt.getStartTime());
System.out.println(rpt.getFinishTime());
}
,或者如果您使用Hadoop 2.x中,已經提供的ResourceManager REST API的。
https://hadoop.apache.org/docs/r2.6.0/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html
https://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-hs/HistoryServerRest.html
在Hadoop中V2我們沒有JobTracker的相關問題
- 1. hadoop命令的源代碼
- 2. LLVM IR指令和源代碼行之間的映射關係
- 3. Hadoop映射器構造函數的時間和方式?
- 4. 映射和選擇在同一時間
- 5. 使用desc命令時縮短'type'列
- 6. 版本映射時間戳列於POJO
- 7. 使用@XmlJavaTypeAdapter映射映射時的JAXB和空名稱空間
- 8. Elasticsearch - 日期時間映射
- 9. 如何改進我的代碼以縮短合成時間?
- 10. 縮短命令?
- 11. LINQ的時間(7)和時間跨度映射
- 12. 如何縮短Makefile的使用時間?
- 13. java中的日期時間和休眠時的默認日期時間映射
- 14. 用NHibernate映射持續時間
- 15. 在映射的時間戳上過濾
- 16. Vim命令和映射
- 17. 縮短jQuery命令
- 18. 相對setTimeout的時間縮短至剩餘時間
- 19. 爲什麼真的要在ASP.NET MVC中縮短超時時間?
- 20. Python中的凝縮代碼與映射
- 21. LaTeX命令和Unicode點之間的映射
- 22. 從命令行在Hadoop中壓縮編碼解碼器檢測
- 23. 縮短UIScrollView的觸摸延遲時間?
- 24. 縮短xml文件加載時間
- 25. 縮短VBA宏的運行時間
- 26. 備份時間縮短問題
- 27. 大熊貓的持續時間縮短
- 28. 顯示時間和時間之間的代碼B不工作
- 29. 如何使用SQL命令縮短代碼
- 30. VBA運行代碼在啓動時和開啓時間間隔
,也是我需要每5份的時間。 – mndn