2011-03-22 154 views
7

我想允許在文件的爬行:robots.txt的:不允許子目錄,但允許目錄

/directory/ 

,但不抓取的文件:

/directory/subdirectory/ 

是正確的robots.txt指令:

User-agent: * 
Disallow: /subdirectory/ 

我怕,如果我不允許/目錄/子目錄/ ,我將解散允許/目錄下的所有文件/我不想做的爬行,所以我是在正確使用:

User-agent: * 
Disallow: /subdirectory/ 

回答

7

您已經過度使用它:

User-agent: * 
Disallow: /directory/subdirectory/ 

是正確的。

+0

不是用戶代理:*不允許:/ directory/subdirectory /要刪除/ directory /中的任何文件?我仍然希望搜索索引中的目錄中的文件不在子目錄/目錄/子目錄/ – user523521 2011-03-22 01:51:17

+1

中的文件不,爲什麼會這樣做?它禁止該子目錄,而不是父目錄。 – 2011-03-22 01:54:20

+0

那麼......作爲我的研究的一部分,許多人在互聯網上都表示禁止/ directory /子目錄/不允許/ directory /中的所有文件,以便它有必要這樣做:User-agent:* Disallow:/ directory /子目錄/允許:/directory/index.html我只是想找出哪個是正確的? – user523521 2011-03-22 02:49:51

2
User-agent: * 
Disallow: /directory/subdirectory/ 

蜘蛛也不傻,他們可以分析的路徑:)

+0

我不明白你在說什麼的實現。 – user523521 2011-03-22 01:54:05

+2

@user如果你做'cd/directory/subdirectory /'它會把你帶到'目錄'嗎?不,重要的文件夾是路徑中的最後一個,在這種情況下是「子目錄」。 – alex 2011-03-22 02:07:07