當您讓搜索引擎抓取工具通過但爲用戶添加額外步驟時，您是否受到搜索引擎的處罰？

Question

我目前正在爲一個項目進行工作，因爲用戶所在的區域可能會限制網站的多個部分。因此，當用戶訪問該頁面時，他將被重定向到他必須完成的表單以便查看內容。

爲了讓搜索引擎索引內容，我爲搜索引擎抓取工具創建了例外，以便他們可以輕鬆訪問內容。

我是櫻花摘自this頁面的一些搜索引擎，我的解決方案是檢查抓取工具的IP地址（可以在我鏈接的頁面上找到）並基於該訪問權限。

這個解決方案是否足夠可行？我在問這是因爲我在官方Google網站管理員中央博客上閱讀了an article，該博客建議在bot上執行DNS反向查找以匹配其真實性。我不得不提到這沒有安全意義。

TL; DR如果允許搜索代理機器人在用戶重定向時直接轉到內容，我會受到處罰嗎？哪種方法更好？ （用戶代理，IP地址或與反向DNS查詢的成本/效益）

Answer 1

答案是NO，

但有些用戶也將通過谷歌緩存查看您的網頁，而不是繞過你的限制。