如何禁止robots.txt中的特定頁面，但允許其他所有內容？

Question

這是做到這一點的方法嗎？

User-agent: * 
Allow:/
Disallow: /a/* 

我有這樣的網頁：

mydomaink.com/a/123/group/4 
mydomaink.com/a/xyz/network/google/group/1 

我不想讓他們出現在谷歌。

Answer 1

您的robots.txt外觀正確。如果你想百分百肯定，你可以test in in your Google's Webmaster Tools account。

僅供參考，屏蔽robots.txt中的頁面而不是保證它們不會顯示在搜索結果中。它只會阻止搜索引擎抓取這些頁面。他們仍然可以列出他們，如果他們想。爲了防止頁面被編入索引並列出，您需要使用x-robots-tag HTTP標頭。

如果您使用Apache，你可以把一個文件放在/a/目錄下面的行有效地阻止這些網頁：

<IfModule mod_headers.c> 
    Header set X-Robots-Tag: "noindex" 
</IfModule>