Stagger獅身人面像索引

Question

我試圖創建一個包含3700萬條記錄的索引。

我使用腳本將數據從MySQL的輸出，並且輸出以此爲XML，然後將其與正在進口xmlpipe2數據。

我的問題，是所生成的XML文件是相當大的，和我開發的服務器沒有存儲XML的內存。

如果我限制了導入的行數，例如LIMIT 0,1000000，那時我做LIMIT 1000000，1000000，這個索引不是'合併'的，而是覆蓋。

我能以某種方式錯開這讓我最終與所有數據的索引結了？

感謝

Answer 1

而不是輸出到一個實際的XML文件，只要管輸出定向到獅身人面像。這樣他們實際的文件永遠不會存在（在內存中或文件系統上）。

即您在「xmlpipe_command」稱只是打印XML直接輸出到標準輸出腳本。獅身人面像消化並讀取它。

我讀過XML數據源數倍於服務器內存這樣大。

Answer 2

你可以爲每個指數超過一個來源，像幾個XML文件或幾個MySQL的源。索引按照您提供的順序進行處理，只需確保文檔ID在所有來源中都是唯一的。