如何從有加載表的網站上進行網絡抓取？

Question

我試圖從Python 2.7的網站上抓取網頁，其中有一個表格需要加載。如果我試圖網絡抓取它，我只會得到：「正在加載」或「對不起，我們沒有任何有關它的信息」，因爲它必須先加載..

我閱讀了一些文章和代碼，但沒有任何工作。

我的代碼：

import urllib2, sys 
 
from BeautifulSoup import BeautifulSoup 
 
import json 
 

 
site= "https://www.flightradar24.com/data/airports/bud/arrivals" 
 
hdr = {'User-Agent': 'Mozilla/5.0'} 
 
req = urllib2.Request(site,headers=hdr) 
 
page = urllib2.urlopen(req) 
 
soup = BeautifulSoup(page) 
 
nev = soup.find('h1' , attrs={'class' : 'airport-name'}) 
 
print nev 
 

 
table = soup.find('div', { "class" : "row cnt-schedule-table" }) 
 
print table

import urllib2 
 
from bs4 import BeautifulSoup 
 
import json 
 

 
# new url  
 
url = 'https://www.flightradar24.com/data/airports/bud/arrivals' 
 

 
# read all data 
 
page = urllib2.urlopen(url).read() 
 

 
# convert json text to python dictionary 
 
data = json.loads(page) 
 

 
print(data['row cnt-schedule-table'])

Answer 1

我也面臨這個問題..你可以使用Python硒包。 我們需要等待加載你的表，所以我使用time.sleep（），但這是不正確的方法。你可以使用wait.until（「元」）方法PFB示例代碼登錄

from bs4 import BeautifulSoup 
from selenium import webdriver 
import time 
profile=webdriver.FirefoxProfile() 
profile.set_preference("intl.accept_languages","en-us") 
driver = webdriver.Firefox(firefox_profile=profile) 
driver.get("https://www.flightradar24.com/data/airports/bud/arrivals") 
time.sleep(10) 
html_source=driver.page_source 
soup=BeautifulSoup(html_source,"html.parser") 
print soup 

參考鏈接。

Selenium waitForElement