解析多個頁面而不更改url地址

Question

我希望從here解析表格內容。但是，該表繼續分成多個頁面。我的問題是我無法解析從page 2開始的頁面，因爲url地址沒有變化。如何找到url地址存儲其他頁面的地址？我正在使用lxml和requests。

Answer 1

如果打開Chrome的DevTools並點擊「2」上的分頁控制，你會看到由腳本提出的要求，爲在網頁「2」獲取日期：

POST https://www.mutualfundindia.com/MF/return/TopFundDetails?page=2 

表單數據：

__RequestVerificationToken:AYv1N1VEGXTeLKMbnHolT_bste-CiFcH1GAjQgh1O7c_Ygm0-wIP3j47yN6e5tzYx3EumwCRBYcxI6825nH28W_qO60ZMlnAm4f1utRjqL4wgokl87pgsV4anV4vKtSjk6XV0g2 
Rank:-1 
Type:-1 
Nature:-1 
SubNature:-1 
cmdAum:1 
Period:1Year 
ShortingOrder:DESC 
hdHeaderId:1Year 

您可以在網頁上找到的__RequestVerificationToken值，在要素：

<input name="__RequestVerificationToken"... 

請求的響應是純HTML。

我想，如果你提出這樣的要求，你解析所有的日期。

希望，這有助於。