使用requests.get方法無限滾動python

是否可以使用get方法實現無限讀取廢料。例如，使用requests.get方法無限滾動python

http://www.justdial.com/Ahmedabad/Bearing-Dealers/ct-302676

給出以下鏈接，當我們下滾動每一頁

http://www.justdial.com/functions/ajxsearch.php?national_search=0&act=pagination&city=Ahmedabad&search=Bearing+Dealers&where=&catid=302676&psearch=&prid=&page=2&SID=&mntypgrp=0&toknbkt=&bookDate=&jdsrc= 

http://www.justdial.com/functions/ajxsearch.php?national_search=0&act=pagination&city=Ahmedabad&search=Bearing+Dealers&where=&catid=302676&psearch=&prid=&page=3&SID=&mntypgrp=0&toknbkt=&bookDate=&jdsrc=

到目前爲止我的代碼看起來像：

import requests 

def readJustDial(c): 
    hdr = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11', 
      'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8', 
      'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3', 
      'Accept-Encoding': 'none', 
      'Accept-Language': 'en-US,en;q=0.8', 
      'Connection': 'keep-alive'}  
    for i in range(1,10): 
     url = 'http://www.justdial.com/functions/ajxsearch.php?national_search=0&act=pagination&city='+str(c)+'&search=Bearing+Dealers&where=&catid=302676&psearch=&prid=&page='+str(i)+'&SID=&mntypgrp=0&toknbkt=&bookDate=&jdsrc=' 
     page = requests.get(url,hdr) 

def main(): #this is main function of this program 
    allCities=["Ahmedabad","Hyderabad","Bangalore","Kolkata","Chennai","Mumbai","Delhi-NCR","Pune"] 
    for city in allCities: 
     readJustDial(city) 
     #print(city) 

if __name__ == "__main__": 
    main()

也請提出任何改變，我可以做到我現有的代碼。我只是學習Python，所以任何建議都會很好。

來源

2016-11-27 Bhavesh Ghodasara

對我來說很好。你的代碼如何不能滿足你的需求？ – Ouroborus

@Ouroborusaccess denied ...如果您嘗試打開該頁面（第2頁或第3頁），您實際上無法在瀏覽器中打開該頁面，它會顯示空白列表。爲什麼？ –

看起來像referer和餅乾是必需的。 – Ouroborus

嘗試模仿正常工作瀏覽器xhr請求附帶的標頭。你可以使用瀏覽器的開發工具（我使用chrome）來查看這些頭文件。當我看的要求，我看到它與這些頭髮送：

Accept:application/json, text/javascript, */*; q=0.01 
Accept-Encoding:gzip, deflate, sdch 
Accept-Language:he-IL,he;q=0.8,en-US;q=0.6,en;q=0.4 
Connection:keep-alive 
Cookie:f5avrbbbbbbbbbbbbbbbb=BEKIPCFANCEHKADKNPJJJLHGCDKJOEEGKIIEPAAPHGEDJDNKFFBPCKEGMMIAECHOLECIMLJDAICKIFECEPMNKJNMKIDIMHPCOMHNNHMANENHHKEGMABPKFGKBAPGCHCJ; ppc=; PHPSESSID=bh34mlv2ba4gmgbntjtsjtt753; www=1712105664.20480.0000; _gat=1; scity=Ahmedabad; sarea=; dealBackCity=Ahmedabad; inweb_city=Ahmedabad; profbd=0; bdcheck=1; _ga=GA1.2.338746795.1480258713; tab=toprs; BDprofile=1; prevcatid=302676; view=lst_v; main_city=Ahmedabad 
Host:www.justdial.com 
Referer:http://www.justdial.com/Ahmedabad/Bearing-Dealers/ct-302676 
User-Agent:Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36 
X-Requested-With:XMLHttpRequest

嘗試發送一個請求與這些頭，除了餅乾（通常他們只是暫時的工作）。

如果這也行不通，那麼您需要cookie。您可以使用瀏覽器（例如使用硒），也可以對網頁或Cookie進行一些逆向工程，並嘗試編寫獲取工作cookie的方法。

來源

2016-11-27 15:12:21

使用requests.get方法無限滾動python

回答

相關問題