是否可以禁止robots.txt中的所有子目錄？

Question

我最近設置了我的robots.txt文件。

沒什麼特別的 - 我有一個asp.net網站，除了我的網頁，web.config等在根目錄中，還有鏈接到/bin/和一些自定義文件夾，這些文件夾用於組織而不是站點結構。

目前，我單獨禁止每個目錄，但我想知道是否可以從根目錄中一次性禁止所有子目錄。

我查看了文檔，但沒有找到我想要的答案 - 通常它不在那裏，因爲這是不可能的。

有人建議這是否可行嗎？

Answer 1

這可以用通配符來完成：

User-agent: * 
Disallow: /*/ 

注意通配符的延伸，而不是原始的robots.txt標準的一部分。它們受到所有主要搜索引擎的支持，但不受許多特殊用途爬蟲的支持。

如果你只關心主要的搜索引擎，並且你需要阻止數百或數千個目錄，那麼通配符是一個很好的解決方案。如果您只需要阻止少數目錄，那麼最好單獨列出它們。