Htaccess/robots.txt允許搜索機器人探索主域名，但不在其他域名的目錄

Question

好吧，我明白標題沒有任何意義，所以我在這裏試圖詳細解釋它。

我使用的託管爲我的域提供了空間，並讓我「添加」其上的其他域。所以我們可以說我有一個域A，並且我添加了一個域B.基本上，我的主機給了我一個public_html，在那裏我可以放置當某人訪問網站A時顯示的內容。但是，當我添加域B時，它讓我把這個public_html的B，INSIDE的內容，以便網站B.com也可以通過訪問A.com/siteB來訪問......這一切都很好，除了Google已經開始索引B.com和A.com/ siteB，我確定它是爲B.com編制索引的，但我不知何故想阻止它將A.com/siteB編入索引，以便當人們搜索B時，它不會顯示A.com/siteB。

任何想法？讓我知道如果這個問題還不清楚。

Answer 1

只要把

User-agent: * 
Disallow: /siteB 

在robots.txt在你的主域名的根。所有有禮貌的機器人都會接受這一點，但根據他們訪問您網站的頻率，您可能需要稍等一會纔會搜索引擎更新其數據庫。

此外，您可以用重定向規則/站點B/...重定向已使用的站點A域http://siteB/做請求添加的.htaccess ...這將讓每個人都使用，即使他們瀏覽canonical域到較不喜歡的那個。