如何爲子域設置Robots.txt文件？

Question

我有一個子域名，例如blog.example.com，我希望這個域名不要由Google或任何其他搜索引擎索引。我把「博客」文件夾我的robots.txt文件中的服務器配置如下：

User-agent: * 
Disallow:/

難道是罰款不被谷歌索引？

我的網站前幾天：blog.example.com顯示931個鏈接，但現在它顯示1320頁。我想知道如果我的robots.txt文件是正確的，那麼爲什麼谷歌索引我的域名。

如果我做錯了什麼，請糾正我。

Answer 1

拉胡爾，

不知道您的robots.txt是逐字的，但一般的指令是兩行：

User-agent: * 
Disallow:/

該文件必須是可訪問的http://blog.example.com/robots.txt - 如果它不是來自訪問該網址，搜索引擎蜘蛛將無法找到它。

如果您的網頁已被Google編入索引，您還可以嘗試使用Google網站管理員工具從索引中手動刪除網頁。