禁止robots.txt中的所有分頁頁面

Question

我不希望谷歌抓取我所有分頁：

這裏是例子：

http://sample.com/blog-page/page/1

http://sample.com/blog-page/page/2

http://sample.com/blog-page/page/3

那麼我有一些其他的分頁頁面，如：

http://sample.com/product-category/product/page/1

http://sample.com/product-category/product/page/2

http://sample.com/product-category/product/page/3

下面是代碼爲我的robots.txt

User-agent: * 

Disallow: */page/* 

Answer 1

User-agent: * 

Disallow: /blog-page/page/ 

你可以用它來幫助你使用robots.txt生成

http://tools.seobook.com/robots-txt/generator/

Answer 2

我覺得應該是

User-agent: * 
Disallow: /blog-page/page 

的多個astricks是沒有必要的，你必須確保包括整個路徑作爲/page將是你的站點的根目錄