來自索引開發站點的區塊搜索引擎

我認爲我的一個網站最近從谷歌退市，因爲它找到並開始索引我的開發網站。它基本上是我主站點的複製品。（dev.site.com & site.com）來自索引開發站點的區塊搜索引擎

無論如何，有沒有辦法創建一個robot.txt，這將阻止任何流量dev.site.com被索引，使site.com仍然完全索引。

我知道我可以爲每個機器人文件分別設置不同的機器人文件，但只有兩個機器人文件都可以。特別是因爲我與整個有開發網站的站點一起工作，並且只想擁有簡單的工作流程，並且在推送新版本的站點時不必更改機器人文件。

2011-01-11 Roeland

也許你可以動態地提供robots.txt文件，例如，通過PHP：

<?php 
if ($_SERVER['HTTP_HOST'] === 'dev.site.com') { 
    echo "..."; 
} else { 
    echo "..."; 
}

2011-01-11 15:39:16

這可能工作。我實際上這樣做我的數據庫參數。我怎麼去echo'ing一個robot.txt文件呢？我對你的意思有點困惑。 – Roeland 2011-01-11 15:53:30

這是每個子域必須有自己的robots.txt標準的一部分（如果從dev.site.com被訪問，你就不需要另一個用於site.com/dev）。

2011-01-11 15:41:41 wes

另一種方法是將行添加到您的.htaccess文件：報頭組X-Robots-Tag中「加入noindex，nofollow的」

這是主張要優於作爲的robots.txt，如果有一個鏈接到你的開發網站的搜索引擎將報告鏈接（即使他們沒有索引你的網站）。這是主張在這裏： http://yoast.com/prevent-site-being-indexed/

2012-05-02 20:32:22 ehowland

回答