2012-03-25 37 views
1

http://wayback.archive.org/web/ */linksku.comWayBack機器停止存檔我的網站,我的robots.txt有問題嗎?

我上次存檔的時間是去年7月份。幾個星期前,我意識到我的robots.txt文件有錯誤,我解決了它。但是,我的網站仍未被抓取。怎麼了?

我的robots.txt文件是在這裏:http://linksku.com/robots.txt

+0

你總是可以告訴他們提交您的頁面web.archive.org做手工歸檔 – Pacerier 2015-06-05 11:14:07

回答

0

自由之路機結果significantly--有時六個月或更長時間延遲。

+0

Alexa的抓取做出現在Wayback中,延遲了6個月,但這只是我們當前爬行的一小部分。 2012年這個比例更大。 – 2016-06-11 00:06:06