在文本文件中下載目標鏈接html（美麗的湯 - Python3）

Question

我對python和學習Web爬行是完全陌生的。

我正嘗試在文本頁面中下載單個目標鏈接。
到目前爲止，我成功地提取了我需要的所有目標URL，但不知道如何下載文本文件中的所有目標HTML文本。

有人能給我一個大概的想法。

url = "" 
r = requests.get(url) 
data = r.text 
soup = BeautifulSoup(data, "lxml") 
link1 = soup2.find_all('a', href=re.compile("drupal_lists")) 
for t in link1: 
    print(t.attrs['href']) 

Answer 1

在您的for循環中使用請求庫訪問鏈接URL並將內容寫入文件。例如：

link_data = requests.get(t.attrs['href']).text 
with open('file_to_write.out', 'w') as f: 
    f.write(link_data) 

您可能需要更改每個鏈接的文件名。