從BeautifulSoup

Question

刮Instagram的我想要得到的URL列表從該網頁的帖子，並從他們每個人的得到想要的數據...

import requests 
from bs4 import BeautifulSoup  
import selenium.webdriver as webdriver  
url = 'https://www.instagram.com/louisvuitton/' 
driver = webdriver.Firefox() 
driver.get(url)  
soup = BeautifulSoup(driver.page_source, 'lxml') 
data1 = soup.find_all('div', {'class': '_cmdpi'}) 
list1 =[] 
for links in data1: 
    list1.append(links.a['href']) 
print list1 

但是爲什麼這個只得到第一個鏈接，而不是清單？

Answer 1

這是因爲有多個鏈接，但只有一個div與class="+cmdpi" ...所以data1是由只有一個元素組成的列表。嘗試下面的代碼，以獲得所需的參考而不使用bs4：

url = 'https://www.instagram.com/louisvuitton/' 
driver = webdriver.Firefox() 
driver.get(url) 
links = [a.get_attribute('href') for a in driver.find_elements_by_css_selector('div._cmdpi a')] 
print links