2010-11-03 76 views
8

我有,我已經使用Scrapy框架編寫的蜘蛛。我在獲取任何管道工作時遇到了一些麻煩。我在我的pipelines.py下面的代碼:無法獲得Scrapy流水線工作

class FilePipeline(object): 

    def __init__(self): 
     self.file = open('items.txt', 'wb') 

    def process_item(self, item, spider): 
     line = item['title'] + '\n' 
     self.file.write(line) 
     return item 

和我CrawlSpider子類有這條線以激活該類管道。

ITEM_PIPELINES = [ 
     'event.pipelines.FilePipeline' 
    ] 

然而,當它使用

scrapy crawl my_spider 

我得到這樣一行

2010-11-03 20:24:06+0000 [scrapy] DEBUG: Enabled item pipelines: 

沒有管道我跑(我相信這是那裏的日誌應該輸出它們)。

我試圖尋找通過的文件,但似乎沒有成爲整個項目的任何充分的例子,看看如果我錯過了什麼。

什麼任何建議試下?或在哪裏尋找更多的文件?

回答

8

知道了!該行需要進入項目的設置模塊。現在它工作了!

+0

你有在github上託管的這個項目代碼嗎? – Medeiros 2013-09-25 15:08:48

+0

不,我的客戶可能已經把它放在了某個地方,但是我恐怕不是我的地方開源的地方。 – 2013-09-26 07:09:19

+0

我不得不使用ITEM_PIPELINES作爲字典而不是設置文件中的列表 – 2016-06-19 12:04:23

0

我敢打賭,它在字管道某處資本的區別:

管道與管道

我注意到'event.pipelines.FilePipeline'使用前者,而您的代碼使用後者:它做你的文件名使用?

(我已經多次成爲這個拼寫錯誤的受害者!)

+0

感謝察覺這(無法相信我錯過了!),但它仍然不工作,遺憾的是它 – 2010-11-03 19:33:21

+0

還是我的投注在了什麼問題,請隨時查看! :P(如果沒有,我沒有想法...) – James 2010-11-03 19:34:17

+0

我會再看一次。乾杯! – 2010-11-03 19:41:39