http://wayback.archive.org/web/ */linksku.comWayBack機器停止存檔我的網站,我的robots.txt有問題嗎?
我上次存檔的時間是去年7月份。幾個星期前,我意識到我的robots.txt文件有錯誤,我解決了它。但是,我的網站仍未被抓取。怎麼了?
我的robots.txt文件是在這裏:http://linksku.com/robots.txt
http://wayback.archive.org/web/ */linksku.comWayBack機器停止存檔我的網站,我的robots.txt有問題嗎?
我上次存檔的時間是去年7月份。幾個星期前,我意識到我的robots.txt文件有錯誤,我解決了它。但是,我的網站仍未被抓取。怎麼了?
我的robots.txt文件是在這裏:http://linksku.com/robots.txt
自由之路機結果significantly--有時六個月或更長時間延遲。
Alexa的抓取做出現在Wayback中,延遲了6個月,但這只是我們當前爬行的一小部分。 2012年這個比例更大。 – 2016-06-11 00:06:06
該鏈接是爲他們的舊服務。新的測試版服務執行歸檔您的網站:
http://web-beta.archive.org/web/ */HTTP://linksku.com
你總是可以告訴他們提交您的頁面web.archive.org做手工歸檔 – Pacerier 2015-06-05 11:14:07