需要網絡爬行幫助

Question

嗨，我正在完成我的一個小愛好項目來創建一個小規模的搜索引擎。

我想知道是否有人知道他們使用的體面健壯的開源Web爬蟲？一個noob設置和使用應該很容易。

非常感謝您不要使用Google搜尋器搜索並粘貼列表。

Answer 1

crawler4j是一個相當不錯的爬蟲，多線程，易於配置和使用。它是用Java編寫的。

您可以在此wikipedia page中找到一個開源爬蟲列表。

Answer 2

我認爲你應該閱讀類似的經歷。

http://infolab.stanford.edu/~backrub/google.html