robots.txt - noindex圖像，noindex管理 - wordpress

Question

我目前使用robots.txt文件，不允許索引我的WP管理員。目前我的機器人文件如下所示：

User-agent: * 
Disallow: /wp-admin/ 
Allow: /wp-admin/admin-ajax.php 

我希望搜索引擎也停止索引我的圖像。這些是我的私人投資組合圖片，我不希望它們出現在任何在線搜索中。

所以我將添加對Google圖像機器人和Bing機器人的限制。我的Robots.txt文件現在看起來像這樣：

User-agent: * 
Disallow: /wp-admin/ 
Allow: /wp-admin/admin-ajax.php 

User-agent: Googlebot-Image 
Disallow:/

User-agent: msnbot-media 
Disallow:/

這寫的是否正確？ 還有其他建議嗎？還有其他圖像機器人應該包括在內嗎？

Answer 1

你目前的佈局是正確的，但是有一個包容性的機器人抓取你的圖像的方式。

看到你正在使用WordPress，我會假設你使用的是正常的文件上傳結構，這意味着你還可以添加以下到您的robots.txt：

User-agent: * 
Disallow: /wp-content/uploads/ 

我會建議您將其與當前所用內容結合使用，因爲它只會阻止位於上傳文件夾中的圖像。這不會在你的主題文件中的圖像直接合作，或插件內容等

你的完整列表看起來像：

User-agent: * 
Disallow: /wp-admin/ 
Disallow: /wp-content/uploads/ 
Allow: /wp-admin/admin-ajax.php 

User-agent: Googlebot-Image 
Disallow:/

User-agent: msnbot-media 
Disallow:/

這條路線開始會覺得簡陋，但請記住，有hundreds of crawlers在那裏。爲他們每個人制定規則可能會導致嚴重的頭痛。

通過阻塞的地方你的圖像的99.9％分佈的位置，你elimate需要列出的每一個抓取，你可以找到，並且還確保任何新爬蟲會立即添加到列表中，如果他們堅持到您的robots.txt文件。

在這一點上，還值得一提的是，有相當多的網絡爬蟲完全忽略了你的機器人文件。