2014-10-09 89 views
1

所以我想排除整個目錄(及其子文件夾)被任何搜索引擎索引。讓我們想象一下我的域名被稱爲「example.com」和目錄「目錄到排除完全從谷歌搜索中排除目錄

現在,當我輸入以下關鍵字

目錄到排除例如(不.COM)

我得到這個作爲一個谷歌的結果是:

目錄到排除 - examp樂

example.com/directory-to-exclude/

此結果的描述是不可用,因爲這個網站的 的robots.txt的 - 瞭解更多信息。

因此即使內容被隱藏且未被索引,它也會顯示出來。但我想阻止谷歌完全顯示它。 現在,當然,我必須知道我的目錄名稱谷歌,但它可以被猜到(並且不想重新命名它)

我到目前爲止,是把這些行放在我的機器人。 txt

User-agent: * 
Crawl-delay: 10 

# Directories 
Disallow: /directory-to-exclude/ 

# Paths (clean URLs) 
Disallow: http://www.example.com/directory-to-exclude/ 
Disallow: http://example.com/directory-to-exclude/ 
Disallow: /directory-to-exclude/ 

仍然沒有成功。任何幫助?

回答

2

隨着谷歌媒體鏈接寫了meta描述爲您的網站:

「此結果的描述是因爲這個網站的robots.txt不可用 - 瞭解更多信息。」

所以你的robots.txt事實上是正確的。不過,如果有指向該目錄的鏈接或谷歌認爲其非常安靜的重要性,它仍會抓取該頁面。如果你想擺脫這一點,你可以在該目錄內的每個頁面上使用noindex標籤:

<meta name="robots" content="noindex"> 
+0

謝謝,我剛剛補充說。讓我們看看谷歌現在是否從它​​的索引中刪除它...我會在這裏更新,如果他們這樣做。 – TobiasH 2014-10-10 11:02:27

+1

您可以嘗試通過進入您的谷歌網站管理員帳戶(如果您有一個帳戶,如果沒有,您應該得到一個免費的帳戶),並使用網址刪除工具加快速度: https://www.google.com/網站管理員/工具/清除 – eLudium 2014-10-10 11:03:39

+0

是的,幾個月前已經這樣做了。 thanx提醒,現在再做一次。 – TobiasH 2014-10-10 11:14:53