2010-10-21 56 views
0

嘿傢伙, 我想允許人們輸入簡單的文本搜索條件,運行豬工作(如果這是最好的,這是我最瞭解的)並輸出結果(tsv文件結果?)所以我可以在Web界面中顯示它們。特設報告Hadoop

有什麼解決這個問題的? 任何已知的事情都會將我想要的流程的幾個不連貫的部分連接在一起?

謝謝,

回答

3

爲什麼不將索引文件編入Lucene或Solr?然後您可以實時進行文本搜索。 Hadoop是專爲面向批處理的流程而設計的,在這種情況下,它看起來並不像你想要的那樣。

+0

從未做過solr索引。我猜想概念證明是我要做的第一個傳球,實施Solr/Lucene索引可能比我打算做的更多。 – ButtersB 2010-10-21 18:05:25

+0

真的嗎?將Solr用於POC可能比將Hadoop用於未設計的東西更容易。 – bajafresh4life 2010-10-22 00:04:57

1

那麼,這取決於你的項目的要求。它是否需要低延遲,以及特別搜索有多複雜。那麼我認爲hbase +豬可能是一個解決方案。 hbase可以用於搜索實時搜索目的(雖然其搜索功能不如RDBMS強大),並且可以用於批量處理大量數據。