如何抓取網頁的下一頁當它沒有顯示最大頁面

Question

這裏是網站（http://biz.chosun.com/svc/list_in/list.html?catid=1A&pn=1）我想抓取，我的問題是如何在抓取第一頁後去下一頁。在這個網站的頁面源代碼中，它沒有顯示最大頁面，但是我發現它可以達到7000.

這裏是我嘗試過但代碼失敗的代碼。

Answer 1

你可以做的就是檢查當前的網址。當你點擊下一個按鈕時，URL會改變。 http://biz.chosun.com/svc/list_in/list.html?catid=1A&pn=0

2頁的URL - -

第1頁的URL http://biz.chosun.com/svc/list_in/list.html?catid=1A&pn=2

假設你是最後一頁上，如果嘗試點擊下一步按鈕，它會給你同樣的URL。

所以，你應該在代碼是這樣的：

String current_URL = driver.getCurrentUrl(); 
String previous_URL = null; 
while (current_URL != previous_URL) 
{ 
    // perform operations; 
    previous_URL = driver.getCurrentUrl(); 
    // click on next; 
    current_URL = driver.getCurrentUrl(); 
}