robots.txt文件可能無效

這是我的robots.txt。我想只允許基址domain.com進行索引，並且不允許所有子網址，如domain.com/foo和domain.com/bar.html。robots.txt文件可能無效

User-agent: * 
Disallow: /*/

因爲我不確定這是否是有效的語法，所以我使用Google網站管理員工具對其進行了測試。它向我顯示了這條消息。

robots.txt file is probably invalid.

我的文件是否有效？有沒有更好的方式只允許基礎網址索引？

更新：谷歌下載我robots.txt 3小時前。我認爲這就是爲什麼它不起作用。我會等一段時間，如果問題仍然存在，我會再次更新我的問題。

來源

2012-04-26 danijar

我這樣說的：http://stackoverflow.com/questions/5206602/robots-txt-how-to-allow-access-only-to-domain-root-and-no-deeper但不明白的答案。 – danijar 2012-04-26 19:55:12

下面是另一個類似的問題，可能有所幫助：http://stackoverflow.com/q/43427/669611 – magzalez 2012-04-26 20:40:56

這裏是一個驗證器的鏈接。它可以幫助你解決文件中的任何錯誤。

Robots.txt Checker

我查了另一種驗證，robots.txt Checker，這就是我得到的第二行：

通配符（如「*」）在這裏沒有允許的線下必須是一個允許，禁止，註釋或空白行語句

這可能是你在找什麼：

User-Agent: * 
Allow: /index.html 
Disallow:/

這裏假設你的主頁是index.html的。

如果index.php是您的首頁，您應該可以將index.html換成index.php。

User-Agent: * 
Allow: /index.php 
Disallow:/

在我的動態網站，通過index.php文件運行時，會mydomain.com/index.php還帶我到首頁，所以上面應該工作。

來源

2012-04-26 20:16:38 magzalez

index.html不是我的主頁，因爲所有請求都會導致index.php管理內容和佈局。所以我只需要允許基本域。 – danijar 2012-04-26 20:46:20

是否會去yourdomain.com/index.php帶你到首頁？ – magzalez 2012-04-26 20:52:20

是的，因爲通過.htaccess重定向到yourdomain.com – danijar 2012-04-26 21:02:40

robots.txt文件可能無效

回答

相關問題