我有,我已經使用Scrapy框架編寫的蜘蛛。我在獲取任何管道工作時遇到了一些麻煩。我在我的pipelines.py下面的代碼:無法獲得Scrapy流水線工作
class FilePipeline(object):
def __init__(self):
self.file = open('items.txt', 'wb')
def process_item(self, item, spider):
line = item['title'] + '\n'
self.file.write(line)
return item
和我CrawlSpider子類有這條線以激活該類管道。
ITEM_PIPELINES = [
'event.pipelines.FilePipeline'
]
然而,當它使用
scrapy crawl my_spider
我得到這樣一行
2010-11-03 20:24:06+0000 [scrapy] DEBUG: Enabled item pipelines:
沒有管道我跑(我相信這是那裏的日誌應該輸出它們)。
我試圖尋找通過的文件,但似乎沒有成爲整個項目的任何充分的例子,看看如果我錯過了什麼。
什麼任何建議試下?或在哪裏尋找更多的文件?
你有在github上託管的這個項目代碼嗎? – Medeiros 2013-09-25 15:08:48
不,我的客戶可能已經把它放在了某個地方,但是我恐怕不是我的地方開源的地方。 – 2013-09-26 07:09:19
我不得不使用ITEM_PIPELINES作爲字典而不是設置文件中的列表 – 2016-06-19 12:04:23