從Hadoop作業中提取JobID等

Question

我正在羣集中運行Hadoop jar文件。從文檔中，我知道Hadoop管理JobID，開始時間等。是否可以獲取參數，以便我們可以在我們的Web界面上顯示它們，以便讓用戶知道作業將消耗多少時間（例如，估計持續時間）？

Answer 1

通過使用提供的API，可以輕鬆獲得Jobtracker UI中顯示的所有詳細信息。

使用jobclient API參考：https://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapred/JobClient.html 和Jobstatus API參考：https://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapred/JobStatus.html

使用jobclient和jobstatus（jobsToComplete（），getAllJobs（））可以檢索的JobId的組合。一旦獲得jobId，只需調用API中的函數即可輕鬆獲得所有其他細節。