有無論如何記錄在Nutch crawl中被忽略的網址列表嗎？

Question

我正在使用Nutch抓取種子文件中指定的深度爲100和topN 10,000的URL列表，以確保完全抓取。此外，我試圖忽略在他們的路徑中使用正則表達式重複字符串urlsil-urlfilter http://rubular.com/r/oSkwqGHrri

但是，我很想知道哪些網址在爬網過程中被忽略。無論如何，我可以記錄Nutch在爬行時「忽略」的網址列表嗎？

Answer 1

該鏈路可以通過使用下面的命令可以找到

倉/ Nutch的readdb PATH_TO_CRAWL_DB -stats -sort -dump DUMP_FOLDER設置格式的csv

這將產生部分-00000文件中dump_folder其中將包含url列表及其狀態分別。

具有db_unfetched狀態的那些已被履帶式程序忽略。