Scrapy統計信息已抓取的頁面和分頁數/分

Question

有人可以幫助我瞭解scrapy統計信息。 我正試圖優化aws實例的scrapy爬行速度。 我當前的scrapy爬行速度是INFO: Crawled 32429 pages (at 72 pages/min), scraped 197 items (at 0 items/min)
如果scrapy以72頁/分鐘爬行什麼是32429頁？絕對不是32429頁/秒...

Answer 1

Crawled X pages這是Scrapy在爬網時收到的HTTP響應總量。

僅供參考，logstats module負責您在控制檯上看到的報告。