從文件到數據庫使用java的巨大數據？

Question

我能夠將大量的文本文件數據加載到數據庫中，其行數爲33264591. 我使用正常的BufferedReader用於逐行閱讀並能夠推送數據。 這裏需要花費大量的時間來加載近3小時逐行閱讀並插入到數據庫中。

有人建議我使用java快速插入數據的更好方法嗎？

預先感謝您

Answer 1

好，纔去任何進一步的，我爲什麼需要這麼多的時間建議使用分析，找出。如果你知道問題出在哪裏，修復起來會更容易。

Answer 2

我相信讀取大文件的最佳方法是使用BufferedReader並逐行閱讀。所以這就是你正在做的。我想知道你是否在讀取文件的同一個循環中插入數據。在你的場景中，我能想到的唯一優化就是在單獨的線程中執行數據庫插入操作，這樣就不會由於DB插入延遲而阻止讀取文件。隨着表格大小的增加，數據庫插入將逐漸變得越來越慢。所以在一個單獨的線程中插入數據庫將是一個好主意。

Answer 3

做批次插入，而不是一次插入一行。