2017-07-07 104 views
1

我試圖用urllib.request.retrieve()蟒蛇 - urllib.request.urlretrieve拋出意外的異常未知的URL類型:「」

我使用Python 3下載文件和下載是成功的,但我不知道爲什麼會拋出異常。

由於某種原因,它會引發異常。

這是主要的文件:

import os 
import urllib.request 

zip_file_open = open("urls.txt") 

if not os.path.exists('zip'): 
    os.makedirs('zip') 

num=1 

true = True 
b = true  

for i in zip_file_open.read().splitlines(): 
    try: 
     print(str(i)) 
     #response = urllib.request.urlopen(str(i)) 
     #print(response) 
     #html = response.read() 
     urllib.request.urlretrieve(i, "zip/code"+str(num)+".zip") 
     if(b): 
      num+=1 
      b=False 
     else: 
      b=true 
    except Exception as e: 
     print("Exception: "+str(e)) 
     if(b): 
      num+=1 
      b=False 
     else: 
      b=true 

這是urls.txt:

http://media.wiley.com/product_ancillary/50/11188580/DOWNLOAD/c01_code.zip 
http://media.wiley.com/product_ancillary/50/11188580/DOWNLOAD/c02_code.zip 
........ 
http://media.wiley.com/product_ancillary/50/11188580/DOWNLOAD/c25_code.zip 
http://media.wiley.com/product_ancillary/50/11188580/DOWNLOAD/c26_code.zip 

這裏是我創建的txt文件:

f = open("urls.txt","w") 

k = """http://media.wiley.com/product_ancillary/50/11188580/DOWNLOAD/c""" 
k1 = """_code.zip""" 

import os 

for i in range(26): 
    if(i<9): 
     f.write(k+str(0)+str(i+1)+k1+os.linesep) 
    else: 
     f.write(k+str(i+1)+k1+os.linesep) 
f.close() 

這裏是輸出

http://media.wiley.com/product_ancillary/50/11188580/DOWNLOAD/c01_code.zip 

Exception2: unknown url type: '' 
http://media.wiley.com/product_ancillary/50/11188580/DOWNLOAD/c02_code.zip 

Exception3: unknown url type: '' 
http://media.wiley.com/product_ancillary/50/11188580/DOWNLOAD/c03_code.zip 
Exception3: HTTP Error 404: Not Found 

........ 

Exception26: unknown url type: '' 
http://media.wiley.com/product_ancillary/50/11188580/DOWNLOAD/c26_code.zip 

Exception27: unknown url type: '' 

我沒有包含所有的輸出行,因爲它們是相同的。該代碼是功能性的,但我想知道我們是否可以刪除該異常。

回答

1

它看起來像你的文件中有一些空行,所以urllib拋出一個ValueError異常,當你試圖獲取'',這顯然不是一個URL。
如果您在循環中添加條件以檢查空字符串,則可以修復此錯誤。

for i in zip_file_open.read().splitlines(): 
    if not i.strip(): 
     continue 
    ... 

但是這不會對非空字符串不是URL,例如'not a url'工作。
更好的方法是用urlparse檢查url方案。

for i in zip_file_open.read().splitlines(): 
    if not urllib.parse.urlparse(i).scheme: 
     continue 
    ... 
相關問題