Scrapy表單提交html選擇不工作

Question

我必須模擬scrapy中的表單提交以生成頁面。

以下是形式（切小件）

<form id="" accept-charset="utf-8" method="POST" action="#"> 
<fieldset> 
<div class="select-style"> 
<select id="study-select" name=""> 
<option>Choose an area of study</option> 
<option data-tag="a1">Anthropology</option> 
<option data-tag="a2">Architecture</option> 
<option data-tag="b1">Biology</option> 
<option data-tag="b2">Botany</option> 
... 
</select> 
</div> 
</fieldset> 
</form> 

我寫在scrapy下面的代碼。我的表單xpath是正確的。我在scrapy shell中測試代碼是肯定的。

resfrom = scrapy.FormRequest.from_response(response, 
formxpath='//div[@id="field_switcher"]//form', 
formdata={'study-select':'Biology'}, 
clickdata={'type':'submit'}, method= 'POST') 

但這不起作用。我只是不能「發佈」這一點。 隨後寫resfrom.body'只是給出'study-select=Biology'。 如何「發佈」數據到scrapy中的id字段？我嘗試了很多選擇，但似乎沒有任何工作。你在我的代碼中看到了什麼問題。

Answer 1

在你的情況下，有沒有表格提交。數據已經存在於HTML中。

下面是示例代碼組商店位置按國家：

$ scrapy shell http://www.apple.com/retail/storelist/ 
>>> from pprint import pprint 
>>> 
>>> data = {} 
>>> for country in response.css(".section-country-stores .listing"): 
...  country_id = country.xpath("@id").extract_first().replace("stores", "") 
...  data[country_id] = [" ".join(map(unicode.strip, place.xpath(".//li//text()").extract())) for place in country.css("ul")] 
... 
>>> pprint(data) 
{u'ae': [u'Abu Dhabi, Yas Mall Yas Mall Yas Island Abu Dhabi 800 04441824', 
     u'Dubai, Mall of the Emirates Mall of the Emirates Al Barsha 1 Dubai 800 04441819'], 
u'au': [u'Canberra Canberra Centre Canberra ACT 2601 (02) 6224 9500', 
     u'Bondi 213 Oxford Street Bondi Junction NSW 2022 (02) 9019 2400', 
     ... 
     ], 
... 
}