apache nutch不抓取網站

Question

我已經安裝了apache nutch進行網絡抓取。我想抓取一個網站，有以下robots.txt：

User-Agent: * 
Disallow:/

有什麼辦法抓取本網站使用Apache Nutch的？

Answer 1

在Nutch的-site.xml中，設置protocol.plugin.check.robots假

OR

您可以註釋掉在機器人檢查完成的代碼。 在Fetcher.java中，第605-614行正在進行檢查。評論整個塊

 if (!rules.isAllowed(fit.u)) { 
     // unblock 
     fetchQueues.finishFetchItem(fit, true); 
     if (LOG.isDebugEnabled()) { 
      LOG.debug("Denied by robots.txt: " + fit.url); 
     } 
     output(fit.url, fit.datum, null, ProtocolStatus.STATUS_ROBOTS_DENIED, CrawlDatum.STATUS_FETCH_GONE); 
     reporter.incrCounter("FetcherStatus", "robots_denied", 1); 
     continue; 
     } 

Answer 2

您可以在nutch-site.xml中將屬性「Protocol.CHECK_ROBOTS」設置爲false以忽略robots.txt。