使用robots.txt禁止或禁止子域名

Question

我有dev.qrcodecity.com和www.qrcodecity.com。我希望Google刪除dev子域的所有記錄，但保留www。我使用git來存儲他們兩個的代碼，所以理想情況下我希望他們都有相同的robots.txt文件。是否有可能有一個robots.txt文件排除子域？

Answer 1

對不起，這很可能是不可能的。一般規則是每個子域都被分開處理，因此都需要robots.txt文件。

通常使用子文件夾通過url重寫來實現子域，該子文件夾可以執行要在子域之間共享單個robots.txt文件的映射。這裏有一個很好的討論如何做到這一點：http://www.webmasterworld.com/apache/4253501.htm。

但是，在你的情況下，你需要不同的行爲，每個子域將要求單獨的文件。

Answer 2

你可以使用Apache重寫邏輯供職於開發領域不同robots.txt：

<IfModule mod_rewrite.c> 
    RewriteEngine on 
    RewriteCond %{HTTP_HOST} ^dev\.qrcodecity\.com$ 
    RewriteRule ^robots\.txt$ robots-dev.txt 
</IfModule> 

，然後創建一個單獨的robots-dev.txt：

User-agent: * 
Disallow:/

Answer 3

請記住，如果你從阻止谷歌索引子域下的頁面，他們不會（通常）立即退出Google索引。它只是阻止Google重新編制這些網頁的索引。

如果dev子域尚未啓動，請確保它有自己的robots.txt禁止所有內容。但是，如果dev子域已經有索引的頁面，那麼您首先需要使用機器人noindex元標記（這要求Google最初抓取頁面以讀取此請求），然後將robots.txt文件設置爲一旦頁面已經從Google索引中刪除（設置Google網站管理員工具帳戶 - 這有助於解決這個問題）開發子域名。

Answer 4

在發球上每個子域處理本身作爲一種獨立的域名，如果你發現一些免費網站製造商允許你主持你的網站對他們的供應以類似yourname.websitemake.com域名。結果，每個網站都在搜索引擎上單獨編制索引。

因此，您可以做的是做到這一點，您可以在子域的文件夾中添加一個新的「robots.txt」，並提及以下內容以禁止搜尋器將您的子域編入索引。

User-agent: * 
Disallow:/