如何提取所有具有.html末尾的網址？

Question

from bs4 import BeautifulSoup 
import requests 


r = requests.get("xxx") 
soup = BeautifulSoup(r.content) 
for link in soup.find_all('html'): 
    print link 

這不適合我有人可以幫忙嗎？

Answer 1

您可能想要使用正則表達式並搜索「href」屬性。像這樣的東西可以幫助你開始。假設您正在搜索所有href屬性

import re 
from urllib2 import urlopen 
from bs4 import BeautifulSoup 
tags = soup.find_all(href = re.compile(r"\.html$")) 

標記變量將是所有html標記的列表，其href屬性以.html結尾。現在，你可以遍歷標籤和提取HREF

Answer 2

for link in soup.find_all('a'): 
    if '.html' in link['href']: 
     print link