谷歌索引我的測試文件夾在我的網站:(我如何限制網絡爬蟲！

Question

幫助！谷歌索引我的網站上的測試文件夾，沒有人保存我本來應該知道的:(如何限制谷歌。從索引鏈接和某些文件夾

Answer 1

使用robot exclusion file，或者更好的密碼保護測試領域使用robots.txt文件！ 「保護」你不希望別人看到的地方有點像在你的後門掛上一個標誌，說「我已經離開這個開放，但請不要進來」 :)

如果您Google webmaster tools註冊，你可以請求刪除搜索結果，如果你確保它不再通過訪問他們的履帶。

Answer 2

使用robots.txt

谷歌爲它，或查看：http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=40360

Answer 3

避免抓取工具爲您的部分內容編制索引的最佳方法是通過您網站根目錄的robots.txt文件。

下面是一個例子：

User-agent: * 
Allow:/
Crawl-delay: 5 

User-agent: * 
Disallow: /cgi-bin 
Disallow: /css 
Disallow: /img 
Disallow: /js 

在第一個塊，我告訴他履帶可以瀏覽所有。

第二個塊有我希望他避免的文件夾列表。

這不是一個安全的方式確實保護它，因爲一些爬蟲不尊重它。

如果你真的想要保護它，最好的辦法應該是在這些文件夾上有一個.htaccess文件來強制認證。

Answer 4

當心！你可以告訴「好」的機器人（如谷歌）遠離某些地方，但其他機器人不會發揮出色。因此，正確解決這個問題的唯一方法就是對那些不被視爲「公共」的地方添加一些限制。您可以限制對您信任的某些IP地址的訪問，或者您可以添加用戶名/密碼認證。

Answer 5

也許正確的答案是不把測試代碼放在公共網站上。爲什麼它是你部署的一部分？

Answer 6

如果你使用Apache：

的.htaccess

AuthUserFile //.htpasswd AuthGroupFile /dev/null AuthName "You must log in to access this development web site" AuthType Basic

<Limit GET>

require valid-user 

</Limit>

密碼文件（htpasswd的），那麼包含

name:password

的密碼進行加密。如果您搜索「htpasswd」，您會發現許多免費程序爲您加密密碼。

TRiG。