爬蟲程序會在什麼時候通知頁面是404？

Question

我一直在考慮使用php腳本作爲404頁面和數據庫來匹配原始頁面的URI與可能的重定向（如果存在的話）（否則顯示404 HTML）。

我正在做一些閱讀和搜索，並遇到了這個問題301 redirect with PHP and MySQL on 404。這正是我期望做的。

我有一個問題，從這導致並阻止了我試圖實現它。爬蟲會在什麼時候被告知頁面是404？

我想假設客戶端（無論是用戶還是機器人）都會請求頁面，服務器會獲取404腳本+頁面，解析php，然後返回404頁面或匹配的重定向頁面客戶。這是正確的嗎？在頁面返回之前，客戶是否會忘記404狀態？

Answer 1

直到返回頁面，客戶是否會忘記404狀態？

是的。你不知道你會得到一個404錯誤，直到你收到請求的迴應。