Scrapy /從scrapy中隱藏的divs中提取數據

Question

嗨我試圖抓取有輸入文本的網站。每當我點擊輸入文本時，都會有輸入文本值的下拉建議。它不在選擇標籤上。

這些建議的值是在div標籤元素中。有近200個div /建議。

我所做的是使用scrapy使用xpath/css選擇器從中刮除。當我使用「查看頁面源代碼」而不是「查看元素」查看代碼時，我發現這200個div實際上是隱藏的。

請幫忙。謝謝

Answer 1

這些元素是由一些下拉庫即時生成的，因此您必須調查網站源代碼和/或其製作的HTTP請求。您正在尋找的所有數據都應該在那裏（最有可能是JSON格式），而不是HTML本身。

例如，如果您使用的是Chrome：

1. 按F12，而你的網站
2. 按F5上
3. 導航刷新頁面Network或Source選項卡，打開devtools
4. 嘗試查找數據（CTRL+F會在這裏非常有用）