爲什麼是驗證爬蟲

Question

從谷歌的支持網站所需的正向DNS -

驗證Googlebot作爲來電：

運行使用的訪問IP地址反向DNS查找從日誌， 主機命令。確認域名位於 googlebot.com或google.com在域名 域名 上使用檢索到的 域名上的host命令運行正向DNS查找。驗證它是否與原始訪問IP 地址的日誌相同。

我的問題是爲什麼正向DNS查找是必需的？攻擊者可以創建一個形式爲crawl-xx-xx-xx-xx.googlebot.com的DNS記錄嗎？

我實際上在我的日誌中也看到了這個 - 來自其他爬蟲。葉的，如果我反向DNS查找來自正確的域名，但正向查找不會返回IP。想知道這怎麼可能..

Answer 1

反向區域可以由任何人提供服務。如果您擁有IP空間，並讓您的isp轉發反向查找，則可以提供指向您想要的任何內容的反向區域。

作爲一個攻擊者能買到的任何IP塊，併爲我區4.3.2.1.in-addr.arpa，說所有的記錄都在crawl-xx-xx-xx-xx.googlebot.com

我無法控制谷歌的該區域正向DNS雖然。所以即使我可以得到1.2.3.4的反向查找以返回crawl-12-34-56-78.googlebot.com，但我無法在crawl-12-34-56-78.googlebot.com上進行正向查找以返回1.2.3.4。

您的日誌中的不一致條目幾乎可以肯定是第三方機器人試圖（很好地）模仿谷歌。