scrapy-linkedin用於linkedin數據提取

我使用scrapy-0.16從linkedin中提取數據。scrapy-linkedin用於linkedin數據提取

from scrapy.selector import HtmlXPathSelector 
    from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor 
    from scrapy.contrib.spiders import CrawlSpider, Rule 
    from scrapy.http import Request 
    from scrapy import log 
    from linkedin.items import LinkedinItem, PersonProfileItem 
    from os import path 
    from linkedin.parser.HtmlParser import HtmlParser 
    import os 
    import urllib 
    from bs4 import UnicodeDammit 
    from linkedin.db import MongoDBClient

https://github.com/pondering/scrapy-linkedin

的錯誤出現

Traceback (most recent call last): 
    File "C:\Users\TAWANE DUDEZ\Desktop\linkedin\linkedin\spiders\LinkedinSpider.py", line 6, in <module> 
    from linkedin.items import LinkedinItem, PersonProfileItem 
ImportError: No module named linkedin.items

找不到linkedin.items模塊。需要一個解決方案或任何替代

來源

2013-03-18 vikrocx

告訴我們您的目錄結構.... – 2013-03-18 07:59:03

我不能讓ü請詳細說明 – vikrocx 2013-03-18 08:04:15

我懷疑是你試圖從錯誤的目錄運行scrapy crawl LinkedinSpider命令。嘗試導航至C:\Users\TAWANE DUDEZ\Desktop\linkedin，然後再次運行該命令。

由於爬網程序現在正在啓動，因此您還需要在開始爬網之前運行MongoDB實例。正在使用的github項目的README說要鍵入mongod來啓動一個實例。只是爲了檢查，你確實安裝了MongoDB和pymongo嗎？

來源

2013-03-18 09:13:22 Talvalin

是妳正確的，但現在的問題是pymongo連接 – vikrocx 2013-03-18 10:06:29

我跑進入正確的目錄，但現在它顯示錯誤 '由於目標機器主動拒絕，所以無法建立連接。 – vikrocx 2013-03-18 10:11:11

您在運行scrapy之前是否啓動了MongoDB實例？ – Talvalin 2013-03-18 11:51:19

scrapy-linkedin用於linkedin數據提取

回答

相關問題