我需要爲整個頁面抓取元素,但只有一部分會加載,直到向下滾動爲止。反正有抵消這個嗎?我可以通過運行滾動到底層函數來解決這個問題,但如果它們是一個更乾淨的方法,這將是很好的。頁面只在向下滾動時加載
0
A
回答
0
這是完成此操作的代碼。您可以將其插入直接進入控制檯或它注入到你的履帶
window.scrollTo(0,document.body.scrollHeight);
你也可以把這個包在setInterval函數遞增隨着時間的推移。 下面有這樣一個例子:
setInterval(function() {
document.body.scrollTop = document.body.scrollHeight;
}, 50);
編輯:抱歉,我沒在那裏你提到,你知道你可以做到這一點你的問題的最後一部分。你在和什麼樣的爬蟲一起工作。這將有助於回答你的問題。 看看這個例子: Scroll Automatically to the Bottom of the Page
+0
問題是,它只是滾動到加載頁面的底部,所以當它滾動到底部時,更多的只是加載。我可以發送大量這些函數,但這會使爬蟲慢很多 – Eorsak
相關問題
- 1. Drupal:僅當頁面向下滾動時才加載頁面
- 2. 如何在頁面加載時向下滾動網頁20px-50px?
- 3. 確保div在頁面加載時向下滾動
- 4. 如何僅在頁面向下滾動時纔在頁面上加載項目?
- 5. 當用戶向下滾動頁面時加載圖像 -
- 6. 如何向下滾動頁面加載時 - GeckoFx C#
- 7. Firefox在頁面加載時滾動
- 8. 如何在頁面加載時自動向下滾動div標籤?
- 9. Bootstrap Tour只在我滾動頁面時加載
- 10. 滾動到頁面底部時向下滾動,並向上滾動時順利
- 11. Ionic 2在頁面打開時向下滾動頁面
- 12. 當向下滾動頁面圖像時是否有能力加載頁面圖像,或者它只是影響?
- 13. 使頁面向下滾動加載舊帖子
- 14. 在頁面加載時滾動然後滾動
- 15. 下載一個頁面的內容與加載更多向下滾動
- 16. 單擊VSCode滾動條時頁面向下/向上翻頁
- 17. 當頁面向上或向下滾動時移動圖像
- 18. 使用jQuery Ajax和ASP.NET向下滾動頁面時加載其他數據
- 19. 如何在向下滾動頁面時保持浮動頂欄?
- 20. 頁面在Internet Explorer中刷新時自動向下滾動
- 21. 當頁面加載時滾動到長滾動頁面上的特定div
- 22. ng-keypress事件向下滾動頁面
- 23. 開始淡出頁面向下滾動
- 24. Fancybox在頁面滾動後向下打開頁面
- 25. 當向下滾動時像臉書在牆貼上滾動時加載內容
- 26. 加載非活動滾動條頁面
- 27. 加載無限滾動頁面時加載頁面的CSS會發生變化
- 28. 如何在頁面加載時自動滾動到div?
- 29. 如何在向下滾動頁面時更改圖像?
- 30. 如何在鏈接打開時向下滾動頁面
使用瀏覽器的devtools,你應該能夠檢查元素的數據源是什麼,並且迭代地發送請求到那個數據源。它可能看起來像這樣:http://www.example.com/elements?paged=1; http://www.example.com/elements?paged=2; etc – Ceili