如何獲得在Nutch的

Question

的爬行任務作業狀態在爬行週期，我們有很多的任務/相位像注入，生成，提取，分析，updatedb的，invertlinks，去重和指數工作。 現在我想知道是否有任何方法可以通過除了引用hadoop.log文件以外的任何方式獲取爬網任務（無論是運行還是失敗）的狀態？ 更準確地說，我想知道我是否可以跟蹤生成/讀取/解析階段的狀態？任何幫助，將不勝感激。

Answer 1

您應該始終以僞或全分佈模式運行Nutch，這樣您就可以使用Hadoop UI來跟蹤爬網進度，查看每個步驟的日誌，訪問計數器（非常有用！）。