如何在Django中處理網絡爬蟲？

Question

由於網絡爬蟲在沒有任何請求數據的情況下擊中我網站的某些部分，我收到了很多發送到我的電子郵件的錯誤，而且我想知道在Django中處理Web爬蟲的最佳方式是什麼？當我遇到空的QueryDict時，是否應該發出重定向？

Answer 1

您可以考慮實施robots.txt以禁止抓取工具訪問您的網站僅供人類使用的區域，例如表單。

Answer 2

表現良好的爬網程序只能執行GET請求。表單應該只是GET請求。

Ruby和Rails使用CRUD映射

Create -> POST, 
READ -> GET, 
Update -> PUT, 
Delete -> DELETE 

唯一的東西，沒有額外的信息應該是GET請求。

Answer 3

我認爲你的意見應該適用於任何請求，在列表返回頁面上顯示消息「不正確的請求」。 500是醜陋的。您確定該用戶沒有請求數據沒有打開頁面嗎？ QueryDict的「get」方法可以幫助使用默認值。