由於谷歌的趨勢需要你登錄,我仍然可以使用IP旋轉器如crawlera來下載csv文件嗎?如果是這樣,是否有任何示例代碼與python(即python + crawlera下載谷歌文件)。谷歌的趨勢是否可以使用代理滾動器,如crawlera?
在此先感謝。
由於谷歌的趨勢需要你登錄,我仍然可以使用IP旋轉器如crawlera來下載csv文件嗎?如果是這樣,是否有任何示例代碼與python(即python + crawlera下載谷歌文件)。谷歌的趨勢是否可以使用代理滾動器,如crawlera?
在此先感謝。
沒有人會爲你寫代碼。
但是我可以留下一些評論,因爲過去幾個月我一直在使用Crawlera代理。
隨着crawlera,你可以每次都用新的IP刮取Google趨勢,甚至每次都可以使用相同的IP(在crawlera中稱爲會話管理)。
您可以與您的要求和Crawlera他們到底會創建一個會話一起發送頭'X-Crawlera-Session':'create'
和響應,他們將返回'X-Crawlera-Session': ['123123123']
...如果你認爲你是不是從谷歌封鎖,
您可以發送'X-Crawlera-Session': '123123123'
與您的每個請求,所以Crawlera將每次使用相同的IP。
在文檔中有許多語言的代碼示例。 有關Python示例,請參閱https://doc.scrapinghub.com/crawlera.html#python。
是的,可以使用Crawlera以及其他代理apis,如https://gimmeproxy.com。它提供了可能適合您的Google代理。