1
我使用谷歌網站管理員驗證了我的網站。我在django中創建了我的網站，並且還添加了robots.txt。 谷歌現在是顯示綠色對勾，我認爲其良好的DNS和服務器連接，但紅色警示標誌上的robots.txt取..Google無法抓取您的網站，因爲我們無法訪問您網站的robots.txt文件
我的robots.txt看起來像
User-agent: *
Disallow:
是，谷歌需要時間爬網站？或者我的robots.txt或其設置中存在錯誤。
當我打開的robots.txt從我的網站像mysite.com/robots.txt我可以看到robots.txt文件..
而且當我在網站管理員它給出允許運行結果測試的robots.txt .. 我的網站是不是甚至在谷歌搜索..
但爲什麼它不抓取我的網站？