2017-06-17 68 views
0

我需要爲整個頁面抓取元素,但只有一部分會加載,直到向下滾動爲止。反正有抵消這個嗎?我可以通過運行滾動到底層函數來解決這個問題,但如果它們是一個更乾淨的方法,這將是很好的。頁面只在向下滾動時加載

+0

使用瀏覽器的devtools,你應該能夠檢查元素的數據源是什麼,並且迭代地發送請求到那個數據源。它可能看起來像這樣:http://www.example.com/elements?paged=1; http://www.example.com/elements?paged=2; etc – Ceili

回答

0

這是完成此操作的代碼。您可以將其插入直接進入控制檯或它注入到你的履帶

window.scrollTo(0,document.body.scrollHeight); 

你也可以把這個包在setInterval函數遞增隨着時間的推移。 下面有這樣一個例子:

setInterval(function() { 
document.body.scrollTop = document.body.scrollHeight; 
}, 50); 

編輯:抱歉,我沒在那裏你提到,你知道你可以做到這一點你的問題的最後一部分。你在和什麼樣的爬蟲一起工作。這將有助於回答你的問題。 看看這個例子: Scroll Automatically to the Bottom of the Page

+0

問題是,它只是滾動到加載頁面的底部,所以當它滾動到底部時,更多的只是加載。我可以發送大量這些函數,但這會使爬蟲慢很多 – Eorsak

相關問題