YQL robots.txt限制的網址發出

Question

我開發web應用程序，其中包括以下YQL查詢：

SELECT * FROM html WHERE url="{URL}" and xpath="*" 

上週我部署一個新的版本，發現網頁被掛在YQL查詢。當我昨天回來時，這個問題在週末似乎已經解決了。我剛剛向服務器部署了一個新版本，問題又再次出現。服務器堆棧是Ngnix /乘客/西納特拉

衝切查詢到YQL控制檯我得到一個錯誤： 「請求robots.txt限制的URL：」

我已經添加了下面的robots.txt：

User-agent: Yahoo Pipes 2.0 
Allow:/

但是，這似乎並沒有做任何事情。

想法？我非常好奇YQL爲什麼報告這個URL是robots.txt，當它不是的時候它是受限制的。

Answer 1

我遇到了同樣的問題。我懷疑這在一定程度上是雅虎最終的一個問題。

在我屈應用我加...

get 'robots.txt' do
"User-agent: * Allow: /"
end

這偶爾會工作...然後訪問將是一段時間內再次否認。

如果你正在使用這個來避免javascript的跨域問題......我最終放棄並使用本地PHP腳本來檢索數據而不是使用YQL。

Answer 2

考慮在YQL查詢中添加& diagnostics = true。它爲我工作。