當文件大小大於1GB時，Gson.toJson拋出NullPointerException

Question

我試圖用Java寫入Json格式，但當文件大小> 1GB時遇到NullPointerException。任何人都可以幫助我解決這個問題嗎？

該代碼不斷生成Json文件，並且文件的大小不斷增加。一旦文件大小> 1GB，代碼將拋出異常，如下所示。我使用不同的數據集進行測試，所以我不認爲這是數據問題。我的猜測是Java中的Gson.toJson有一個大小限制。

我的代碼是：

private HashMap<String,HashSet<Token>> tokenCounter = new HashMap<String,HashSet<Token>>(); 

.... 

private void writeToFile(){ 
    try { 
    PrintWriter out = new PrintWriter(outputFileName); 
    out.println(gson.toJson(tokenCounter)); 
    out.close(); 
    } catch (IOException e) { 
     e.printStackTrace(); 
    } 
} 

它拋出一個例外是：

java.lang.NullPointerException 
    at java.lang.String.<init>(String.java:301) 
    at java.lang.StringBuffer.toString(StringBuffer.java:790) 
    at java.io.StringWriter.toString(StringWriter.java:204) 
    at com.google.gson.Gson.toJson(Gson.java:481) 
    at com.google.gson.Gson.toJson(Gson.java:460) 
    at com.ebay.classification.discovery.DailyDiscovery.writeToFile(DailyDiscovery.java:181) 
    at com.ebay.classification.discovery.DailyDiscovery.run(DailyDiscovery.java:169) 
    at com.ebay.classification.discovery.TestDailyDiscoveryContinue.run(TestDailyDiscoveryContinue.java:142) 
    at com.ebay.classification.discovery.TestDailyDiscoveryContinue.main(TestDailyDiscoveryContinue.java:245) 

Answer 1

發佈的回答爲避開在註釋格式問題。

2^30字符的數組將是2^31個字節。作爲一個單一的字符串，這是巨大的！需要問的明顯的問題是，爲什麼你的代碼：

PrintWriter out = new PrintWriter(outputFileName); 
out.println(gson.toJson(tokenCounter)); 
out.close(); 

這可以很容易地寫爲：

FileWriter out = new FileWriter(outputFileName); 
gson.toJson(tokenCounter, out); 
out.flush(); 
out.close(); 

這沒有顯著內存的影響，並會快很多。

這不回答這個問題，爲什麼你在一個大的StringWriter獲得NPE，不過，坦率地說，你在做什麼是荒謬的....