抓取AJAX請求

Question

我有一個帶有下拉列表的ASP.NET MVC網站，當用戶在第一個下拉列表中選擇一個選項時，其他下拉列表將使用AJAX調用進行填充。根據日誌，抓取工具嘗試按照正常方式訪問這些AJAX方法，因爲我的應用程序會記錄錯誤。我將這些AJAX方法設置爲不可抓取，這意味着當請求不是AJAX調用時，我會返回404。這是做這件事的最好方法嗎？ 另一方面，我有一個頁面有多個步驟，這意味着用戶填寫表格，然後進入第二步。每次用戶填寫表單時，我都會執行POST AJAX請求並保存輸入數據。我應該如何處理這種情況？

Answer 1

添加您不想檢索的網址爲robots.txt。

如果您在GET中提供鏈接，抓取工具將嘗試抓取它。返回404在技術上並不正確 - 它確實能阻止抓取工具索引頁面！

考慮返回500 Internal Server Error或501 Not Implemented。