腳本不會停止，同時關閉瀏覽器或單擊中止

Question

我寫了一個do while循環量3秒

完全有7000位調用網頁中的WebCrawler的...我分析數據並保存在我的數據庫。

有時因爲腳本加載了很長一段時間，我得到了在瀏覽器超時，

但在後臺我還在繼續。我在我的數據庫中看到這一點。

我可以預防這種情況嗎？現在只要停止網絡服務器就可以了。

謝謝，最好的問候。

Answer 1

您的網頁正在啓動服務器端進程。殺死你的瀏覽器或關閉它並不會阻止它。這聽起來像一個網頁來控制這是錯誤的方法，你應該看看像WinForms/WPF應用程序的連接形式的應用程序。有辦法讓這個與ASP.NET一起工作，但它們不會很簡單。我認爲你剛剛選擇了錯誤的技術。

Answer 2

從網頁開始這樣一個密集的，長期運行的過程幾乎從來都不是一個好主意。有很多原因，但主要原因是：

1）如果您在瀏覽器中得到超時（這是您的方案），您收集的數據可能不會顯示。

2）如果在瀏覽器中進行刷新，會發生什麼情況？它會不會重新啓動整個過程？如果攻擊者希望綁定所有服務器資源，那麼這是攻擊者的一個簡單目標。

3）您正在抓取的數據是否真的可能發生變化，以至於您需要「實時」抓取？運行爬網的後臺定時作業同樣適用於99％的情況，而您的前端僅顯示數據庫的內容。

我會認真地推薦您重新考慮您的抓取策略，以便更可控和穩定。