0
我正在使用scrapy來抓取網站。來自相同PyQuery對象的不同輸出
with open('test.html', 'wb') as f:
f.write(response.body)
使用此塊,我正在將文本寫入文件。當我打開文件時,我可以看到許多「a」標籤。
當我打印相同的東西。它只顯示兩個「a」標籤
print response.body
你知道這裏發生了什麼嗎?
我正在使用scrapy來抓取網站。來自相同PyQuery對象的不同輸出
with open('test.html', 'wb') as f:
f.write(response.body)
使用此塊,我正在將文本寫入文件。當我打開文件時,我可以看到許多「a」標籤。
當我打印相同的東西。它只顯示兩個「a」標籤
print response.body
你知道這裏發生了什麼嗎?
我已經解決了這個問題。抓取的網站在組合框中有第二個<html>
標記。
我正在使用PyQuery,如果在html結構中有任何問題,PyQuery不起作用。
現在我已將選擇器更改爲xpath,現在它會在html中查找所有標記。
我認爲這取決於您正在爬行的網站。 – eLRuLL
您是否嘗試同時寫入/打印? – kev
這些代碼都是解析方法。所以,在相同的分析方法中,響應不會改變。 – AnovaConsultancy