urllib2

0熱度

1回答

我試圖從這個頁面抓取關注者數量http://freelegalconsultancy.blogspot.co.uk/但似乎無法拉動它。我試過使用urllib,urllib2,urllib3,selenium和beautiful soup，但沒有運氣拉動追隨者。以下是我的代碼當前的樣子： import urllib2 url = "http://freelegalconsultancy.blog

0熱度

1回答

使用bs4從ID獲取PubMed數據

我正在從一個約12,000 PubMed ID的CSV文件下載標題，摘要，年份發佈和MeSH條款的項目。我已經寫了下面的代碼： import urllib2 from bs4 import BeautifulSoup import csv CSVfile = open('srData.csv') fileReader = csv.reader(CSVfile) Data = list(

0熱度

1回答

使用bs4的Scarping PubMed

我有一個PubMed ID的數據集（一個CSV文件），需要對它進行迭代，並且每個數據集都獲得標題，發佈年份，抽象和MeSH條款，然後我需要將其保存爲CSV具有以下格式的文件： id year_published title abstract mesh_terms 其中每個項目位於不同的單獨列中。我試圖使用BS4做到這一點，寫了這個： import urllib2 from bs4 imp

0熱度

2回答

刮可見文本

我是網頁抓取領域的絕對新手，現在我想從網頁中提取可見文本。我發現了一塊碼在線： import urllib2 from bs4 import BeautifulSoup url = "http://www.espncricinfo.com/" web_page = urllib2.urlopen(url) soup = BeautifulSoup(url , "lxml") prin

0熱度

1回答

與具有不正確的日期/時區設置的HTTP服務器的Python Cookielib

我正在使用python和cookielib與HTTP服務器交談，該服務器的日期設置錯誤。我無法控制這臺服務器，因此修復它的時間不是可能的。不幸的是，服務器的不正確時間錯誤cookielib，因爲cookies看起來已經過期。有趣的是，如果我使用任何網絡瀏覽器訪問同一個網站，瀏覽器會接受cookie並將其保存。我認爲現代網絡瀏覽器始終會遇到錯誤配置的Web服務器，並且看到他們的Date標頭設置不正確

2熱度

1回答

Python | HTTP - 如何在下載之前檢查文件大小

我使用urllib3來爬網。示例代碼： from urllib3 import PoolManager pool = PoolManager() response = pool.request("GET", url) 的問題是，我可以在URL，它是一個真正的大文件的下載，我不是在下載它interseted絆倒。我發現這個問題 - Link - 它建議使用urllib和urlopen。我

-1熱度

1回答

無法訪問Python中的url資源

我想從服務器下載zip文件，我還添加了用戶代理，以便我可以訪問特定文件。但仍然無法訪問它。在執行我的計劃，我得到這樣的輸出： <HTML><HEAD> <TITLE>Access Denied</TITLE> </HEAD><BODY> <H1>Access Denied</H1> You don't have permission to access "http...." </B

1熱度

1回答

向SciHub發送表單請求不再使用urllib urllib2 python

我有一個小腳本，我很高興能夠從剪貼板中讀取一個或多個書目參考，並從Google學術搜索獲得學術論文的信息，然後將其送入SciHub以獲得pdf。由於某種原因，它停止了工作，我花了很多年時間試圖找出原因。測試表明該程序的Google（scholarly.py）部分工作正常，這是SciHub的一部分是問題所在。任何想法？澳大利亞佩斯市Appleard，S.J.，Angeloni，J。和Watkin

-1熱度

1回答

Python urllib2查詢 - 爲系列網址中的每個網頁下載單獨的xml文件

我是一個Python新手，如果這是一個非常愚蠢的問題，我很抱歉，但我花了很多時間試圖自己回答成功。我使用下面的腳本使用的urllib2網站下載的XML文件： import os os.chdir('C:\Users\AB\Documents') import urllib2 site= "http://www.example.com/ab/cdef/1324" hdr = {'User-A

0熱度

2回答

readingJSON with simplejson python

我正在嘗試閱讀JSON後，我與urllib2發送url請求。我的代碼： request = urllib2.Request("https://127.0.0.1:443/myAPI", data=form_data, headers=headers) response = urllib2.open(request) 所以，問題是當我試圖從響應對象讀取JSON。我做它這樣 simplejs