如何拒絕來自robots.txt的特定頁面

Question

我在我的網站上創建了兩個非常相似但用於不同目的的頁面。一個是感謝用戶留言，另一個是鼓勵用戶訂閱。

我不想重複的內容，但我希望頁面可用。我可以設置網站地圖來隱藏一個嗎？我會在robots.txt文件中執行此操作嗎？

將不允許看起來是這樣的：

不允許：/可溼性粉劑管理員

我將如何自定義到一個特定的頁面，如：

http://sweatingthebigstuff.com/thank-you-for-commenting

Answer 1

Disallow: /thank-you-for-commenting 

在機器人.txt

看看last.fm robots.txt file獲取靈感。

Answer 2

這很簡單，任何你想禁止的頁面，只是給這個文件或文件夾的根url。 只需將其放入您的robots.txt文件即可。

Disallow: /thank-you-for-commenting 

Answer 3

的robots.txt文件中使用正則表達式匹配的網頁，因此，避免指定更多的頁面比你打算，你可能需要一個$添加到頁面名稱末尾：

Disallow: /thank-you-for-commenting$ 

如果你不這樣做，你也會禁止頁面/感謝您對此發表評論

Answer 4

您還可以在robots.txt文件中添加一個帶擴展名的特定頁面。在進行測試的情況下，您可以指定測試頁面路徑以禁止漫遊機器人。

對於實施例：

Disallow: /index_test.php 
Disallow: /products/test_product.html 
Disallow: /products/  

第一個Disallow: /index_test.php將從根文件夾爬行測試頁禁止機器人。

第二個Disallow: /products/test_product.html將不允許test_product.html文件夾下的產品。

最後，最後一個示例Disallow: /products/將禁止整個文件夾進行爬網。