我想允許在文件的爬行:robots.txt的:不允許子目錄,但允許目錄
/directory/
,但不抓取的文件:
/directory/subdirectory/
是正確的robots.txt指令:
User-agent: *
Disallow: /subdirectory/
我怕,如果我不允許/目錄/子目錄/ ,我將解散允許/目錄下的所有文件/我不想做的爬行,所以我是在正確使用:
User-agent: *
Disallow: /subdirectory/
不是用戶代理:*不允許:/ directory/subdirectory /要刪除/ directory /中的任何文件?我仍然希望搜索索引中的目錄中的文件不在子目錄/目錄/子目錄/ – user523521 2011-03-22 01:51:17
中的文件不,爲什麼會這樣做?它禁止該子目錄,而不是父目錄。 – 2011-03-22 01:54:20
那麼......作爲我的研究的一部分,許多人在互聯網上都表示禁止/ directory /子目錄/不允許/ directory /中的所有文件,以便它有必要這樣做:User-agent:* Disallow:/ directory /子目錄/允許:/directory/index.html我只是想找出哪個是正確的? – user523521 2011-03-22 02:49:51