防止通過.htaccess直接訪問robots.txt

我想阻止用戶訪問我的robots.txt文件，但我仍然希望搜索引擎讀取它。可能嗎？如果是，那我該怎麼做？我相信如果我在.htaccess中編寫下面的代碼，它會起作用，但恐怕它也會阻止搜索引擎訪問它。防止通過.htaccess直接訪問robots.txt

爲了否認，讓所有

感謝

2010-12-18 Ali

有你能適應你的情況上的「robots.txt」的答案：http://stackoverflow.com/questions/7475870/robots-txt-htaccess-block-google ？rq = 1 – Katapofatico 2013-07-24 09:02:03

由於標準robots.txt從您的域的根目錄服務，除非你能以某種可靠地鑑別用戶的搜索引擎，我不否認認爲你所問的是可能的。

您可以嘗試按用戶代理或IP範圍進行篩選。

有沒有原因讓你不希望你的用戶看不到你的robots.txt文件中有什麼？畢竟該文件中的所有內容都是公開的。

2010-12-18 08:58:31 martineno

是的，我也發現它不可能，否則Google，CNN，BBC和其他人也會阻止他們的robots.txt（google.com/robots.txt，bbc.com/robots.txt）。我剛剛收到某人的詢問，所以我想問一問並確認。 – Ali 2010-12-18 09:10:57

您可以使用x-robots-tag或robots meta標籤代替robots.txt來減少對文件的依賴。例如，將以下指令添加到.htaccess文件中。

<Files ~ "\pdf$"> 
 
    #don't index pdf files 
 
    Header set X-Robots-Tag "noindex, nofollow" 
 
</Files>

2017-10-17 11:40:18 phs

回答