UrlLib2 - 在請求工作場所網絡上的ASP.NET網站時拒絕訪問

Question

我目前正在編寫一個腳本，它涉及（希望）屏幕從我的工作場所的網頁中抓取大量數據。它是一個ASP.NET頁面，在Chrome或Internet Explorer上查看時不需要登錄。

我曾嘗試以「會議頂」我的Internet Explorer會話得到它通過在Python的urllib2讀，但是我還是拒絕訪問（增加的Internet Explorer是使用ASP.NET_Sessionid後...）

我承認對互聯網的知識知之甚少，所以我可能在這裏做錯了什麼，但我需要從Python訪問這個網頁。如果效果更好，我願意使用另一個庫。

Answer 1

也許網頁正在檢查有效的請求標頭？

你真的應該使用pycurl來處理這類工作。

#!/usr/bin/env python 
import pycurl 
import cStringIO 
buf = cStringIO.StringIO() 

pycurl_headers = ['Accept:text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8', 
        'Accept-Charset:ISO-8859-1,utf-8;q=0.7,*;q=0.3', 
        'Accept-Language:en-US,en;q=0.8,bg;q=0.6', 
        'User-Agent:Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.31 \ 
        (KHTML, like Gecko) Chrome/26.0.1410.43 Safari/537.31'] 


c = pycurl.Curl() 
c.setopt(c.URL, 'http://google.com') 
c.setopt(c.WRITEFUNCTION, buf.write) 
c.setopt(c.AUTOREFERER, 1) 
c.setopt(c.FOLLOWLOCATION , True) 
c.setopt(c.CONNECTTIMEOUT, 5) 
c.setopt(c.TIMEOUT, 5) 
c.setopt(c.HTTPHEADER, pycurl_headers) 
c.perform() 

print buf.getvalue() 
buf.close()