在單個文檔中搜索很多字符串

Question

我有一個1M到10M字符串的列表，我想查看它們中的哪些可以在單個文檔中找到（比如說1頁文本）。

我知道我可以使用Lucene（Solr/Elasticsearch）來查找包含字符串的所有文檔。但這是相反的。

我可以編寫一些基於字符串搜索算法之一的臨時解決方案，如Aho-Corasic，try等，但我認爲我會重新發明輪子。有沒有任何圖書館/框架？

（我很好的分割字符串和文檔進言，如果這有什麼差別）

Answer 1

這個用例通常是由「滲濾器」組件解決。 Apache Solr [1]和Elasticsearch [2]都提供這些功能。 基本上，您索引「查詢」Q，然後構建一個查詢D從文檔中檢查哪些查詢Q匹配。

[1] https://github.com/flaxsearch/luwak，http://www.flax.co.uk/what-we-do/luwak/

[2] https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-percolate-query.html