以編程方式搜索雅虎

Question

我刮yahoo搜索結果，但我得到502 => Net::HTTPBadGateway。究竟是什麼導致錯誤？這是否意味着yahoo檢測到我的機器人並禁止我的IP？

Answer 1

打印Response對象到控制檯（我建議awesome_print此），

但其....完全常規的搜索引擎到分組形狀，油門或塊履帶。我不知道如果雅虎這樣做，但谷歌肯定做

你可以考慮http://commoncrawl.org代替

Answer 2

是的，他們是阻止您的機器人，所有的大搜索引擎有防禦，以防止結果頁刮。不過，Google和Bing都提供了一個免費的搜索API，您可以使用它來提供您的機器人。