禁止特定的文件夾中使用通配符的robots.txt

Question

我可以隱藏抓取特定的文件夾中包含通配符：

User-agent: * 
Disallow: /system/ 
Disallow: /v* 

我想隱藏的所有文件夾開始以「V」字。它會以這種方式工作？

Answer 1

根本不需要通配符。你的例子可以工作，但沒有通配符就可以工作。尾隨通配符不會做任何有用的事情。

例如，這樣的：

Disallow: /x 

意思是： 「塊以 '/ X' 開始的任何路徑，隨後的零個或多個字符。」

這：

Disallow: /x* 

意思是：「塊以‘/ X’開始的任何路徑，後面的零個或多個字符，隨後的零個或多個字符。」

這是多餘的，它阻止了第一個塊的所有相同的事情。唯一的實際區別是第二個版本無法在不支持通配符的抓取工具上工作。