Python BS4刮腳本計時器

Question

我一直在試圖讓這個網頁抓取腳本正常工作，我不知道接下來要嘗試什麼。希望這裏的某個人知道我應該做什麼。

我正在使用BS4，問題是每當一個URL需要很長時間來加載它跳過該URL（在頁面加載時間較長時，輸出文件的輸入較少，輸入數量較少）。我一直試圖添加一個定時器，以便它只能跳過url，如果它不在x秒內加載。

任何人都可以指向正確的方向嗎？

謝謝！

Answer 1

嘗試使用多線程或多處理來產生線程，我認爲它會爲每個請求產生一個線程，並且如果它耗時過長，它不會跳過url。