讀取50GB的JSON文件並對其進行處理

Question

我有一個50GB的JSON文件，我希望被我的Java應用程序讀取，每個記錄都被轉換爲POJO並逐個放入一個隊列中，由一個單獨申請。

通常情況下，我會使用BufferedReader，但我想知道最佳做法是什麼大小的文件。我目前正在看Java.nio。那會合適嗎？

我還想處理文件，如果一個記錄損壞不停止。可以這麼說，我不想讓一隻雞蛋破壞籃子。

Answer 1

你在找什麼是流媒體反序列化，你可以使用gson，看到https://sites.google.com/site/gson/streaming的一些很好的例子。