下載大量文件的區塊

我試圖通過給出一個輸入列表在Firefox中使用Python Selenium下載一堆（幾千個）文件。我正在成功下載。下載大量文件的區塊

由於有數以千計的文件需要下載，我想知道您是否可以建議一種方法來開始下載10個文件，等到它們完成並開始下一個10.我該怎麼做？

我試過fp.set_preference("browser.download.manager.closeWhenDone", True)下載完成後關閉瀏覽器。但它並沒有結束。

2014-09-04 abn

對於只是下載文件，Selenium是確切的錯誤工具。看看像https://www.gnu.org/software/wget/ – SiKing 2014-09-04 19:27:24

@SiKing哦，我忘了提及，該網站有一些限制，它不會允許我使用urllib/wget/mechanize /任何東西下載那種。我非常感謝你能否刪除你的downvote，因爲我沒有盲目地發佈這個問題，並且我知道我在做什麼。謝謝。 – abn 2014-09-04 19:50:20

您可以使用rq,Celery或任何其他使得任務消耗更容易的庫。

通過使用這些庫，您可以開始下載前10個文件。在完成這些文件後，下一個文件將立即開始自動下載。

2014-09-04 18:05:48 ChillarAnand

謝謝。我會嘗試它，並會讓你知道。 – abn 2014-09-04 21:02:20

回答