停止谷歌索引子域名

Question

我有一個網站使用通配符子域名，這樣當有人註冊時，他們會得到自己的子域名。

我不希望谷歌（或其他檢索算法引擎）抓取和索引的子域（接受WWW）

有沒有去用robots.txt來做到這一點？

問候

Answer 1

林與一個全球robots.txt文件猜測沒有，至少沒有直接。請參閱：http://www.seomoz.org/q/block-an-entire-subdomain-with-robots-txt

某處該頁面andykuiper寫道：

可以阻止通過robots.txt的整個子域，但是你需要創建一個robots.txt文件，並將其放置在根子域，然後添加代碼以指示機器人遠離整個子域的內容。

用戶代理：* 不允許：/

參見：

• http://productforums.google.com/forum/#!topic/webmasters/f5AfW1otAUo
• Disallow or Noindex on Subdomain with robots.txt
• Subdomain disallow search bots via robots.txt

使腳本創建/複製robots.txt文件到新創建的子域，並且所有內容都應按預期工作。