爲什麼我在運行Scrapy時得到空的「Messages：」日誌輸出？

我的蜘蛛運行正常，我設法用例如這種代碼行：爲什麼我在運行Scrapy時得到空的「Messages：」日誌輸出？

logging.info（「網址MyCrawler建名單！」）

和輸出信息到控制檯例如

[root] INFO：MyCrawler構建的URL列表！

當運行蜘蛛，我得到許多種以下消息的：

2017年8月25日十三時40分15秒[scrapy.extensions.logstats] INFO：爬26 頁（以2頁/分），刮0的項目（在0件/分鐘）的消息：

消息：

消息：

消息：

消息：

消息：

消息：

消息：

2017年8月25日13點41分十二秒[scrapy.extensions.logstats] INFO：爬42 頁數（16頁/分鐘），刮8件商品（8件/分鐘）信息：

消息：

消息：

2017年8月25日13時42分05秒[scrapy.extensions.logstats] INFO：爬241 頁（在199頁/分鐘），刮214名的項目（在206個/分鐘） 2017-08-25 13:43:05 [scrapy.extensions.logstats]信息：Crawled 381 pages（at 140 pages/min），刮350件商品（136件/分鐘） 2017-08-25 13:44 ：05 [scrapy.extensions.logstats]信息：已檢索688 頁（307頁/分鐘），刮659件（309件/分鐘） 2017-08-25 13:45:05 [scrapy.extensions.logstats ]信息：爬行995 頁（307頁/分鐘），刮968件（309件/分鐘） 2017-08-25 13:46:05 [scrapy.extensions.logsta ts]信息：爬行1370 頁（375頁/分鐘），刮掉1340項（372件/分鐘） 2017-08-25 13:47:05 [scrapy.extensions.logstats]信息：已檢索1676 頁（306頁/分鐘），1648件物品（308件/分鐘） 2017-08-25 13:48:05 [scrapy.extensions.logstats]信息：Crawled 1914 pages（238頁/分鐘），（每分鐘238頁） 2017-08-25 13:49:05 [scrapy.extensions.logstats]信息：抓取2189 頁（275頁/分鐘），刮取2162項（276項/分鐘） min） 2017-08-25 13:50:05 [scrapy.extensions.logstats]信息：已檢索2430 頁（241頁/分鐘），刮2402件（240件/分） 2017-08-25 13:51:05 [scrapy.extensions。logstats]信息：已檢索2678 頁（248頁/分鐘），刮掉2651項（249件/分鐘） 2017-08-25 13:52:05 [scrapy.extensions.logstats]信息：已檢索2952 （在274頁/分鐘），刮2924項（在273個/分鐘）消息：

2017年8月25日13時53分09秒[scrapy.extensions.logstats] INFO：爬3166 頁（以214頁/分），刮下3130項（在206個/分鐘）消息：

消息：

是什麼空行

消息：

意思，我怎樣可以控制它的知名度和內容？

來源

2017-08-25 zinyosrim

發佈完整的刮板 –

它們可能只是調試內置於您正在使用的庫中的消息。嘗試將日誌級別更改爲INFO或ERROR，看看它是否有所作爲。 –

@BobEzuba記錄已經在INFO上。將其更改爲ERROR。現在「抓取的3166頁......」消息不見了，但空消息仍然存在。 – zinyosrim

同時，我發現的，其硒相關的代碼下面這段是負責產生空消息：

while True: 
    try: 
     loadMoreButton = self.driver.find_element_by_xpath('//*[@id="loadMoreUpcomingPast"]') 
     loadMoreButton.click() 
     self.driver.implicitly_wait(self.delay) 
    except Exception as e: 
     print(e)

這不是最乾淨的解決辦法，但這裏是我做了什麼，擺脫空消息：

while True: 
    try: 
     loadMoreButton = self.driver.find_element_by_xpath('//*[@id="loadMoreUpcomingPast"]') 
     loadMoreButton.click() 
     self.driver.implicitly_wait(self.delay) 
    except Exception as e: 
     break

我不確定是否需要異常處理。但是，我不想冒任何浪費任何時間來刮刮過程。

來源

2017-09-13 14:43:29 zinyosrim

爲什麼我在運行Scrapy時得到空的「Messages：」日誌輸出？

回答

相關問題