在網頁中抓取一些Javascript代碼

我試圖抓取的頁面包含JavaScript代碼。（可能使用AJAX？）當我根據html代碼抓取頁面時，它無法獲得javascript部分。我怎樣才能做到這一點？在網頁中抓取一些Javascript代碼

我想我需要一些在python庫中可以抓取JavaScript代碼，包括html代碼。

請給我一些建議。

下面是頁面鏈接：查看源代碼：http://www.bobaedream.co.kr/mycar/popup/mycarChart_4.php?zone=C&cno=652691&tbl=cyber

來源

2017-01-03 신종원

請在網頁抓取一個谷歌。它是一個完整的世界。有各種各樣的工具可以幫助你，包括Casper，Phantom，Selenium，Scrapy等等。需要一些組件。 – Mikkel

非常感謝Mikkel。 –

我推薦兩種方式。

首先，直接請求ajax url並解析HTML。

import requests 
url = "http://www.bobaedream.co.kr/mycar/proc/mycar_regist_option.php" 
data = {'param': 'ALL'} 
response = requests.post(url, data=data) 
# parse 
...

其次，用web driver，像geckodriver，phantomjs等，使用selenium庫。

該庫使虛擬瀏覽器，運行JavaScript，然後呈現由JavaScript製作的DOM。

This是公開的文件約selenium

來源

2017-01-03 08:53:20 yumere

yumere，我非常感謝你的幫助。非常感謝。 –

在網頁中抓取一些Javascript代碼

回答

相關問題