Heroku網站無法刮取源自相同域名的網頁

我已經創建了Facebook風格的URL刮板來發布內容。當有人輸入一個網址時，它會發送一個請求，並在後端使用nokogiri來刮取網址來提取信息來構建帖子。Heroku網站無法刮取源自相同域名的網頁

繼承人的問題，它適用於所有其他網站（即apple.com，sony.com ....），但當我從我的原始域（即mywebsite.com）的鏈接超時，沒有問題除了Herku在30秒後超時請求外，還顯示錯誤。如果我在我的電腦上從我的本地主機上刪除我的域名，它就可以正常工作。是否有某種原始規則可以防止nokogiri從同一個域中刮取頁面起源？

Ruby on Rails的3.1.10

引入nokogiri（1.4.7）

Heroku上雪松堆棧

來源

2013-02-09 UhOhErk

是在後臺作業或通過網絡工作者刮跑？你有隻有1個動態？如果您的應用只有1個網絡工作者，那麼它可能會忙於嘗試刮擦，因此無法爲網頁提供服務。

嘗試將您的dynos縮放到2並查看問題是否仍然存在。

heroku ps:scale web=2

來源

2013-02-09 10:12:08

這很有道理，爲什麼它不能提供資產，因爲網絡工作者已經在工作。我只是輸入一些特殊情況的邏輯，以避免支付其他網絡測試儀。 – UhOhErk 2013-02-10 01:28:02

Heroku網站無法刮取源自相同域名的網頁

回答

相關問題