使用robots.txt文件從Google Listings中刪除頁面

Question

這是否是正確的方法 - 下面是我的txt文件，這是否會阻止Google將我的admin目錄以及oldpage.php編入索引？

User-agent: * 
Allow:/
Disallow: /admin/ 
Disallow: http://www.mysite.com/oldpage.php 

Answer 1

是的，你是絕對正確的，除了單個文件的限制。

User-agent: *：用於所有履帶

Allow: /：讓整個網站

Disallow: /admin/的訪問：限制admin目錄

Disallow: /oldpage.php：限制oldpage.php