回答
你的連接錯誤是:socket.error:[錯誤54]通過對 連接復位當你第一次連接到http://www.gamespot.com 你必須趕上餅乾,並用它在響應的頭部其他頁面。
您只向服務器發送HTTP請求。你需要處理Javascript來獲取內容。
帶有Javascript支持的無頭瀏覽器,如Ghost,它會是一個不錯的選擇。
from ghost import Ghost
ghost = Ghost()
ghost.open(link)
page, resources = ghost.evaluate('document.documentElement.innerHTML;')
soup = BeautifulSoup(page)
.evaluate('document.documentElement.innerHTML')
將顯示動態生成的內容,而不是你會看到考慮看看源的靜態。
顯然,鬼沒有打開的屬性?我安裝在http://ghostpy.readthedocs.org/en/latest/#examples這裏顯示的依賴關係上,但ghost.open()不可用。 – Aerole
它有。 您需要先安裝pyqt4。你有這裏的二進制文件:http://www.riverbankcomputing.co.uk/software/pyqt/download 然後'pip安裝ghost.py'。不僅'鬼' –
- 1. 美麗的湯URL錯誤
- 2. 美麗的湯錯誤
- 3. 美麗的湯分揀輸出
- 4. 將美麗的湯輸出寫入CSV
- 5. 蟒蛇美麗的湯輸出到excel
- 6. 美麗的湯的Unicode編碼錯誤
- 7. 美麗的湯空元素錯誤
- 8. 美麗的湯無類型錯誤
- 9. Python美麗的湯
- 10. 與美麗的湯
- 11. Python美麗的湯 - 獲取輸入值
- 12. 美麗的湯錯誤:列表索引超出範圍
- 13. 美麗的湯表沒有出現
- 14. 美麗的湯和uTidy
- 15. 美麗的湯 - 文檔
- 16. python 3的美麗湯4
- 17. 與美麗的湯解析
- 18. 美麗的湯VS ESPN
- 19. 美麗的湯解析表
- 20. Python美麗的湯編碼
- 21. 美麗的湯安裝
- 22. Webscrape沒有美麗的湯
- 23. 刮表與美麗的湯
- 24. python re.compile美麗的湯
- 25. Python的美麗湯參數
- 26. 美麗的湯4混亂
- 27. 美麗的湯臭蟲?
- 28. 美麗的湯發現XML
- 29. 美麗的湯線匹配
- 30. 安裝美麗的湯
它可能會阻止/重定向你認爲你是一個bot:你可能必須設置你的用戶代理。 –