1. 首頁
  2. 問答
  3. 避免從數據導入中刪除文件

避免從數據導入中刪除文件

2017-08-09 64 views
0

我想在Solr中添加300萬條記錄，但是發生了錯誤。避免從數據導入中刪除文件

2億後Solr開始從文檔中刪除。

當我從Oracle向Solr添加2億條記錄時，每件事情都很好。

在PIC下面

最大文件 = 215077886

民文檔：200979747

刪除文檔：14098139

爲什麼Solr中刪除14098139我嘗試了很多次數但是相同的結果來到

所以我的問題，有避免刪​​除，我無法知道它

所有配置文件在這個鏈接的配置： Conf files

我的服務器公羊爲32g

HD： 2萬億

編輯

我解決這個問題我找到的重複uniqueKeys

enter image description here

enter image description here

來源

2017-08-09 Osama Hashem

+1

你確定文件正在被刪除，而不是被覆蓋，因爲重複的uniquekey或類似的東西？ Solr日誌是否會說出任何內容（也許導入過程耗盡內存並且沒有進一步索引）？你是否嘗試過小批量進口？ – MatsLindh

+0

謝謝，我發現問題重複uniquekey 現在一切都好了 –

回答

1

通常這些問題是由重複的uniqueKeys導致的，因爲全進口過程中自身不被刪除的文件（你可以問它清理索引，但這是一個明確的請求，或者使用單獨的刪除查詢來刪除作爲增量查詢的一部分已刪除的條目）。

確保所使用的文檔實際上對於設置爲uniqueKey列的列是唯一的。如果稍後導入的文檔具有與先前文檔相同的uniqueKey，則新文檔將覆蓋舊文檔（即添加和刪除），從而導致deleted列中的計數。

來源

2017-08-09 08:30:13 MatsLindh

相關問題

 相關問題