Robots.txt與一個網站，但兩個域

我有一個網站，其中有兩個域添加。這兩個域指向網站的根。是否可以更改robots.txt，以便其中一個域不會被抓取，而另一個域仍然會被抓取？Robots.txt與一個網站，但兩個域

2010-05-06 Dofs

您應該執行301重定向到您的首選域，該域會告訴機器人要抓取哪個網址。

例如

www.domain1.com

應該301重定向到

www.domain2.com

同樣

www.domain1.com/Contact-Us/

應該301重定向到

www.domain2.com/Contact-Us/

2010-05-06 07:03:21 Fenton

我也考慮過這個問題，但希望我可以用相反的方式來做，因爲用戶仍然想要訪問www.domain1.com/contact-us，但搜索引擎應該只抓取domain1.com/contact-我們 – Dofs 2010-05-06 07:16:54

你應該嘗試使用相同的首選主要地址，說實話。如果你想讓你的用戶看到www，你應該讓機器人使用www。 – Fenton 2010-05-06 15:28:34

回答