如何通過robots.txt排除特定文件夾

Question

我想排除任何文件夾中的所有名稱爲「ajax」的子文件夾，以免被搜索引擎編入索引。

例子：

.com/a/ajax 
.com/b/ajax 
.com/c/ajax 

通過robot.txt這可能嗎？

Answer 1

只有在明確列出每個文件夾的情況下才有可能。沒有通配符支持來完成你想要的東西類型。 robots.txt exclusion standard在這方面有點欠缺。