Scrapy：無法訪問類，儘管它存在

Question

我想抓this頁面，我正在嘗試獲取顏色名稱，LT。藍色。從Chrome中我看到HTML：

<div id="desc-options"><div class="option"><span class="label">Color:</span> LT. BLUE</div><div class="option"><span class="label">Size:</span> 6.5</div></div> 

我試圖response.css("#desc-options")訪問裏面的一切，但返回[]。即使BeautifulSoup失敗。

Answer 1

您正在尋找的元素是通過JavaScript動態創建的。你不能從純HTML中解析它。

好消息是：您要查找的數據可能仍在網頁中。查看定義spConfig變量的<script>標籤。看起來有一些你可以解析的JSON ...