robots.txt中的塊子目錄

Question

我的網站有配置文件，然後頁面超出這些配置文件。 （例如：http://www.site.com/profile,http://www.site.com/profile/settings）

我想攔截Google抓取工具從子文件夾。我想谷歌索引/ profile /但沒有任何東西超過它。

又如： - http://twitter.com/bmull < - 允許 - http://twitter.com/bmull/favorites < - 塊

Answer 1

你也可以使用在你不想機器人索引的網頁<meta name="robots" content="noindex, nofollow" /> /可循，但是永遠記住，一切都在這些文件自願和機器人可以選擇不遵循，所以我建議ip或用戶代理阻止作爲更好的路線。

Answer 2

這將與谷歌合作，但不保證與其他蜘蛛一起使用。正如祕密報告建議的那樣，您最好的選擇是在您的服務器端使用ip或用戶代理攔截邏輯

User-agent: * 
Disallow: /*/settings