我使用scrapy_splash來抓取需要js檢索正確內容的頁面。使用代理時不會執行Javascript
當我沒有代理設置使用SplashRequest時,一切都很好,但是當我將代理設置放在代理設置中時,javascript不會呈現給我prejavascript html內容,這些內容沒有我需要的數據。
有誰知道如何解決這個問題?我確定代理ip沒有被列入黑名單。
我使用scrapy_splash來抓取需要js檢索正確內容的頁面。使用代理時不會執行Javascript
當我沒有代理設置使用SplashRequest時,一切都很好,但是當我將代理設置放在代理設置中時,javascript不會呈現給我prejavascript html內容,這些內容沒有我需要的數據。
有誰知道如何解決這個問題?我確定代理ip沒有被列入黑名單。
我不能評論,
但簡短的回答是,因爲你使用的代理不允許運行JavaScript代碼。
請嘗試其他代理,允許你運行JavaScript代碼
它原來是一個緩慢的代理。我必須等到10才能得到結果。謝謝你們的幫助。
你能分享你如何設置代理,也許你的Splash腳本? –