2015-12-02 91 views
0

我正在使用scrapy來抓取網站。來自相同PyQuery對象的不同輸出

with open('test.html', 'wb') as f: 
     f.write(response.body) 

使用此塊,我正在將文本寫入文件。當我打開文件時,我可以看到許多「a」標籤。

當我打印相同的東西。它只顯示兩個「a」標籤

print response.body 

你知道這裏發生了什麼嗎?

+0

我認爲這取決於您正在爬行的網站。 – eLRuLL

+0

您是否嘗試同時寫入/打印? – kev

+0

這些代碼都是解析方法。所以,在相同的分析方法中,響應不會改變。 – AnovaConsultancy

回答

0

我已經解決了這個問題。抓取的網站在組合框中有第二個<html>標記。

我正在使用PyQuery,如果在html結構中有任何問題,PyQuery不起作用。

現在我已將選擇器更改爲xpath,現在它會在html中查找所有標記。

相關問題