在scrapinghub蜘蛛中添加設置

Question

我試圖在scrapinghub平臺中啓用我的蜘蛛中的mongodb。爲此，我必須通過UI中的「EXTENSIONS」設置啓用擴展程序。但是，在運行的蜘蛛，我得到了以下錯誤：

ValueError: Some paths in "{'scrapy.contrib.feedexport.FeedExporter': None}" convert to the same object, please update your settings 

我的設置如下：

EXTENSIONS = {'scrapy.contrib.feedexport.FeedExporter': None} 

如果我刪除此設置，我得到以下錯誤：

exceptions.ValueError: Some paths in "{'scrapy_mongodb.MongoDBPipeline': 300}" convert to the same object, please update your settings 

設置如下：

ITEM_PIPELINES = {'scrapy_mongodb.MongoDBPipeline': 300} 

令人擔憂的是，這兩個設置在當地的惡作劇中都能正常工作。

Answer 1

Scrapy Cloud將字符串轉換爲任何給定值的設置。就你而言，你使用的字典被解釋爲字符串"{'scrapy.contrib.feedexport.FeedExporter': None}"。

的問題是，有在Scrapy設置字符串EXTENSIONS（事實上，大多數需要字典中的值的設置不支持的話，通常是因爲他們能夠接受其他值類型，從而鑄造這些strings不支持到dict可能會導致一些意想不到的情況）。

Scrapy代碼處理設置有一些變化，所以實際問題是隱藏的，但應該是這樣。把你的設置只在你的項目設置文件settings.py應該解決你的問題。