爲什麼Yahoo Indexing Bot被認爲是「邪惡」？

Question

閱讀並評論這個問題PHP Library for Keeping your site index by Google, Bing, etc，我很好奇看看StackOverFlow的sitemap。這返回了一個404錯誤，我猜測只是一個受保護的頁面，通過確定您是否是索引Bot或根本不存在。

然後，這讓我看看StackOverFlow的robots.txt。我很驚訝地看到評論「雅虎殭屍是邪惡的」以及其他一些索引機器人（Spinn3r和KSCrawler）。我與Spinn3r和KSCrawler不同，但我的問題是，爲什麼這些機器人（特別是雅虎）被視爲邪惡？當然，任何搜索引擎的索引都是好東西？

Answer 1

這些都是非常積極的機器人，不會限制請求，並可能導致網站下降。

請參閱this論壇主題爲yahoo bot的示例。