如何使用apache nutch在少數主題上抓取數據？

Question

我使用apache nutch在rosettacode上執行爬行。我不想抓取整個網站，我只想抓取選定的主題（例如，http://www.rosettacode.org/mw/index.php?title=Special%3ASearch&search=Optimization+algorithms&go=Go）。但我無法執行爬網，它向我發出錯誤說：「沒有網址抓取..檢查你的種子列表和URL過濾器」。任何人都可以幫我解決這個問題嗎？

Answer 1

你給的網址實際上是在注入階段拒絕。

您必須在regex-urlfilter.txt中指定接受url的正則表達式，或將其保留爲+.，這意味着它接受所有網址。

-[?*!@=] 

上述模式拒絕你的網址。既然，它包含？和=