使用python搜索12GB文件的最快方法

Question

我想對12GB文本文件中的字符串執行4000多次搜索。

目前，我使用mmap來將文件加載到內存中，這是很好的作品（大約需要5秒鐘）：

with open('my_file.txt', 'rb') as f: 
    m = mmap.mmap(f.fileno(), 0, prot=mmap.PROT_READ) 
    data = m.read(-1) 

不幸的是，搜索是永遠走：

for string_to_search_for in list_of_queries: 
    if string_to_search_for in data: 
     print "Found a match!" 

如何加快搜索速度？

Answer 1

索引該文件，然後應用您的搜索。你可以使用lucene來以更好的方式做到這一點。看看這個線程Python file indexing and searching