刮網頁

Question

我有一些分頁是動態生成的頁面，當我使用鉻或火狐瀏覽器的檢測工具時，URL是可見的，但是當我通過可視化源代碼或通過xpath使用xpath scrapy。

有關此問題的任何提示？

網頁：http://www.pagesjaunes.fr/annuaire/paris-75/restaurants 鏈接：「suivant」在頁腳的class =「link_pagination下一步」

Answer 1

我想對你quuickest方法將通過簡單地將參數頁面的請求，並遍歷可以生成鏈接沿着所有頁面（如果多數民衆贊成你想要的），在這種情況下，例如將是：

http://www.pagesjaunes.fr/annuaire/paris-75/restaurants?page=2 
http://www.pagesjaunes.fr/annuaire/paris-75/restaurants?page=3 
... 
... 
http://www.pagesjaunes.fr/annuaire/paris-75/restaurants?page=644 
http://www.pagesjaunes.fr/annuaire/paris-75/restaurants?page=645 

祝你好運吧！ ;）