Scrapy CSV爬行

Question

試圖使用CSVFeedSpider從CSV文件中抓取一些行 該文件的結構是下一個： ID |類別|價格 我需要抓取其中只有一個spefic類行「支付」 接下來我要做的：

class Outillage_spider(CSVFeedSpider): 
name = 'domain.com' 
allowed_domains = ['domain.com', 'www.domain.com'] 
start_urls = ('http://www.domain.com/file.csv',) 

delimiter = ';' 
headers = ['name', 'category', 'price'] 

def parse_row(self, response, row): 
    categories = ['Bosch','Dolmar','Fein','Hitachi','Karcher','Leman','Makita','SDMO','Ski'] 
if row['category'] in categories: 
     res = {} 
     res['name'] = row['name'] 
     res['price'] = row['price'] 
     return load_product(res, response) 
    else: 
    return None 

而接下來我得到了：

 File "/home/rolikoff/web/scrapy_projects/local/lib/python2.7/site-packages/Scrapy-0.14.1-py2.7.egg/scrapy/contrib/spiders/feed.py", line 129, in parse_rows 
    raise TypeError('You cannot return an "%s" object from a spider' % type(ret).__name__) 
exceptions.TypeError: You cannot return an "NoneType" object from a spider 

我認爲它發生在parse_row（ ）返回無。但我不知道如何改變這個功能。你有什麼想法？

感謝 梅德

Answer 1

嘗試返回空list或tuple代替None

else: 
    return [] 

並確保，即load_product回報list，tuple，Item或Request

Answer 2

據我所關注的，你必須得到parse_row內場！例如，這是我爲抓取Podcast網址所做的一個蜘蛛： https://github.com/arthurnn/podcast/blob/master/podcast/spiders/itunes_spider.py

我會刪除其他的！試試這個：

if row['category'] in categories: 
     res = {} 
     res['name'] = row['name'] 
     res['price'] = row['price'] 
     yield load_product(res, response) 

但是，如果你不使用正常的蜘蛛！對於CSVFeedSpider閱讀我的編輯波紋管：

編輯

在這種情況下，你必須返回一個BaseItem，列表或元組！如果你看看CSVFeedSpider http://dev.scrapy.org/browser/scrapy/contrib/spiders/feed.py?rev=1516的實現！你會看到，