如何：增加Lucene .net索引速度

Question

我正在嘗試創建大約200萬條記錄的lucene。索引時間大約爲9個小時。 你能否建議如何提高性能？

Answer 1

提高Lucene索引性能的最簡單方法是調整IndexWriter的mergeFactor實例變量的值。這個值告訴Lucene將多少個文檔存儲在內存中，然後再將它們寫入磁盤，以及將多個段合併在一起的頻率。

http://search-lucene.blogspot.com/2008/08/indexing-speed-factors.html

Answer 2

我寫了一篇關於如何並行Lucene索引一個可怕的職位。它真的寫得非常糟糕，但你會發現它here（有一些示例代碼，你可能想看看）。

無論如何，主要的想法是你把你的數據分成大塊，然後在單獨的線程上工作。當每件作品完成後，你將它們全部合併成一個索引。使用上述方法，我能夠索引約4百萬條記錄。 2小時。

希望這給你一個從這裏走的想法。

Answer 3

除了寫入方面（合併因子）和計算方面（並行化）之外，這有時是由於最簡單的原因：輸入緩慢。許多人從數據庫建立Lucene索引。有時候你發現這個數據的特定查詢過於複雜而且速度很慢，無法很快返回所有（200萬？）記錄。嘗試只查詢和寫入磁盤，如果它仍然在5-9小時的順序，你已經找到了一個優化的地方（SQL）。

Answer 4

下面的文章真的幫了我，當我需要加快速度：

http://wiki.apache.org/lucene-java/ImproveIndexingSpeed

我發現，文獻建設是我們的主要瓶頸。在優化數據訪問和實施其他一些建議之後，我大大提高了索引性能。