徹底清除scrapy上的cookies而不是更改它們

Question

我注意到，由於在太多頁面上使用了會話cookie，我有時在抓取時被阻止。 有沒有辦法在抓取過程中完全清除所有Cookie，以回到抓取工具的初始狀態？

Answer 1

我自己面對類似的情況。我可以很容易地在這裏脫身，但我有一個想法是子類化CookieMiddleware，然後編寫一個方法來直接調整jar變量。它很髒，但也許值得考慮。

另一個選擇是編寫一個功能請求，至少有一個功能來清除cookie。如果認爲需要，可以輕鬆地再花一年來實施，但我並不特別信任scrapy開發人員。

剛剛發生在我身上，你可以使用你自己的cookiejar元，如果你想返回到乾淨的狀態，你只需使用不同的值（像增加一個整數會做）。