Google忽略新的robots.txt文件 - 不會在SERPs中顯示信息

Question

我正在運行丹麥航班搜索引擎。我之前設置了一個有缺陷的robots.txt文件，最終刪除了我的大部分網站的標題標籤和描述。

現在我已經解決了robots.txt來此：

# Robots file for www.billigeflybilletter.dk 
User-Agent: * 
Disallow: /wp-admin/ 
Disallow: /hoteller 
Allow: /wp-admin/admin-ajax.php 
Allow: /flyforsinkelse/ 

然而，https://www.billigeflybilletter.dk/flyforsinkelse/非常重要的頁面仍顯示該索引：

這是丹麥的「不」。

我可能在這裏做錯了什麼？

robots.txt文件可以同時訪問非HTTP和非HTTPS。

Answer 1

使用您當前的robots.txt，允許抓取相關頁面。

您不需要行Allow: /flyforsinkelse/，因爲默認情況下允許抓取所有內容（未明確禁止）。

在下一次Googlebot抓取您網站上的內容時，它會抓取您的robots.txt文件，發現現在允許抓取的時間比以前多，並且隨後會抓取「新」頁面（如果它可以找到它的鏈接）。這可能需要幾分鐘，幾小時，幾天或幾周時間。