構建一個全文搜索引擎：從哪裏開始

我前段時間面臨類似的問題。我需要一種快速的方法來搜索來自文檔的文本和megs文本。我需要匹配的不僅僅是單詞，而是大文件中的文字接近（這個詞在附近那個單詞）。我剛剛用C寫完，速度讓我感到驚訝。它速度很快，不需要任何優化或索引。由於現代計算機的速度，如果您編寫的代碼直接在金屬上編譯（編譯代碼），您通常不需要訂單日誌（n）類型的算法來獲得所需的性能。

來源

2008-10-06 22:58:42

閱讀Tim Bray的series of posts on the subject。

背景

搜索引擎

基礎

精度和使用召回

搜索engne智能

整蠱搜索字詞

停用詞

元

國際

排名結果

XML

機器人

要求列表

來源

2008-10-07 02:06:11

我剛剛發現這篇文章本週末：http://www.perl.com/pub/a/2003/02/19/engine.html

看起來不是太複雜做一個簡單的（雖然它可能需要重優化是肯定的企業類型的解決方案）。我打算用Project Gutenberg的一些數據嘗試一個概念驗證。

如果您只是在尋找可以探索和學習的東西，我認爲這是一個好的開始。

來源

2008-10-07 02:40:28

Lucene或Autonomy！這些都不是開箱即用的解決方案。你將不得不在他們的接口上編寫包裝器。
他們肯定會照顧詞幹，語法，關係運營商等

來源

2008-10-07 10:41:51 Cherian

書Introduction to Information Retrieval提供了一個很好的介紹該領域。

死樹的版本由劍橋大學出版社出版，但您也可以在上面的鏈接中找到免費的在線版（HTML和PDF）。

來源

2008-10-08 01:37:25

查看「管理千兆字節」這本書，它涵蓋了大量純文本數據的存儲和檢索 - 例如。壓縮和實際搜索，以及各種可用的算法。

此外，對於純文本檢索，最好使用基於矢量的搜索系統而不是關鍵字 - >文檔索引系統，因爲基於矢量的系統可以更快，而且更重要的是可以提供相對平庸的相關性排名。

來源

2008-10-08 02:26:31 olliej

-1

試試這個：假設變量表是您的搜索條目列表。

query = input("Query: ").strip().lower()#Or raw_input, for python 2 
end = [] 
for item in table: 
    if query in item.strip().lower(): 
     end.append(item) 

print end #Narrowed results

它只是遍歷所有項目來查看查詢是否在其中任何一個。它適用於簡單的應用內搜索功能。雖然可能不是整個互聯網。

來源

2017-01-04 21:45:06 PythonMaster

構建一個全文搜索引擎：從哪裏開始

回答

相關問題