Python - 如何啓用Cookie與Web請求抓取？

我有一個腳本來刮我的本地計算機上完美的網站。當我將它部署到服務器時，相同的腳本無法從目標服務器獲取數據。Python - 如何啓用Cookie與Web請求抓取？

我已啓用調試並注意到目標服務器提供了一條錯誤消息：「必須啓用Cookie」。

以下是代碼片段。 Python 2.7.3版本在本地計算機和服務器上運行。

我會感謝您對解決方案的支持。

import requests 

BASE_URL = 'https://targetsite.com' 

CLIENT = requests.session() 

detail_page = CLIENT.get(BASE_URL, headers=HEADERS, verify=False, allow_redirects=True)

來源

2017-09-16 Tolga

順便提一句，這個問題與bs4以及與'requests'庫有關的所有事情都沒有做。 –

您的第一次請求會失敗嗎？通常會返回一個cookie，然後在稍後的請求中使用它。 –

事情是，這*應該*工作 - 但是我懷疑有一些JS的東西正在...不可能知道，因爲我們沒有告訴實際的地址。 –

問題似乎與目標服務器有關。我已將用戶代理更改爲搜索引擎，而不是解決問題。我也明白它與cookie沒有關係，但目標服務器給出了一個錯誤的錯誤代碼。

來源

2017-09-16 18:20:44 Tolga

Python - 如何啓用Cookie與Web請求抓取？

回答

相關問題