如何拒絕來自www.example.com和exsample.com的搜索機器人

Question

我想知道是否可以阻止我的網站上的所有機器人。我遇到了一些麻煩，因爲我將exsample.com重定向到www.exsample.com。 robots.txt檢查工具說我沒有在exsample.com上的robots.txt文件，但在www.exsample.com上有。

希望有人能幫助我:)

Answer 1

只是做一個名爲robots.txt的文本文件，在這個文件中，你編寫以下

User-agent: * 
Disallow:/

，並把它放在你的WWW文件夾或文件夾的public_html

這將要求所有的搜索引擎禁止網站的所有內容，但並不是所有的搜索引擎都會反對這個協議，但最重要的搜索引擎會閱讀它並按照你的要求去做

Answer 2

Robots.txt適用於每臺主機。

因此，如果您想要阻止網址爲http://www.example.com，則robots.txt必須可在http://www.example.com/robots.txt訪問。

請注意，子域很重要，所以您不能使用robots.txt阻止http://example.com上的網址，只能在http://www.example.com/robots.txt上使用。