在Python中索引CSV文件內容

Question

我有一個非常大的CSV文件只包含兩個字段（id，url）。我想用python做一些關於url字段的索引，我知道有一些工具比如Whoosh或者Pylucene。但我無法得到這些例子的工作。有人可以幫我弄這個嗎？

Answer 1

FILE.CSV內容：

a,b 
d,f 
g,h 

加載它全部變成一個巨大的字典

Python腳本：

#Python 3.1 
giant_dict = {id.strip(): url.strip() for id, url in (line.split(',') for line in open('file.csv', 'r'))} 

print(giant_dict) 
{'a': 'b', 'd': 'f', 'g': 'h'} 

Answer 2

PyLucene是很容易的工作，但你有沒有張貼您的例如我不知道你面臨什麼問題。

或者，當你只有key：value類型的數據時，可能會比Pylucene更好，像DB Berkeley DB（python綁定pybsddb）。它將像Python字典一樣工作，並且應該比lucene更快或更快，您可以嘗試。