閱讀大文件（Java堆空間）

Question

我想讀取CSV文件，從每行創建對象，然後將這些對象保存到數據庫中。 當我從我的文件中讀取所有行，並將所有對象存儲在ArrayList中時，我得到Java堆空間錯誤。 我試着在讀完之後立即保存每一條記錄，但之後通過Hibernate方法save（）保存記錄需要很多時間。

我也試着檢查我的arrayList的大小，並保存數據，當這個大小等於100k（註釋部分代碼）。

問題：有什麼方法可以部分讀取文件或更好的方式來存儲數據在Java中？如果要真正處理大文件

String[] colNames; 
String[] values; 
String line; 
Map<Object1, Object1> newObject1Objects = new HashMap<Object1, Object1>(); 
Map<Object1, Integer> objIdMap = objDao.createObjIdMap(); 

    StringBuilder raportBuilder = new StringBuilder(); 
    Long lineCounter = 1L; 
     BufferedReader reader = new BufferedReader(new InputStreamReader(
       new FileInputStream(filename), "UTF-8")); 
     colNames = reader.readLine().split(";"); 
     int columnLength = colNames.length; 

     while ((line = reader.readLine()) != null) { 
      lineCounter++; 
      line = line.replace("\"", "").replace("=", ""); 
      values = line.split(";", columnLength); 

      // Object1 
      Object1 object1 = createObject1Object(values); 
      if (objIdMap.containsKey(object1)) { 
       object1.setObjId(objIdMap.get(object1)); 
      } else if (newObject1Objects.containsKey(object1)) { 
       object1 = newObject1Objects.get(object1); 
      } else { 
       newObject1Objects.put(object1, object1); 
      } 

      // ============================================== 
      // Object2 
      Object2 object2 = createObject2Object(values, object1, 
        lineCounter, raportBuilder); 
      listOfObject2.add(object2); 
      /* 
      logger.error("listOfObject2.size():"+listOfObject2.size()); 
      if(listOfObject2.size() % 100000 == 0){ 
       object2Dao.performImportOperation(listOfObject2); 
       listOfObject2.clear(); 
      } 
      */ 
     } 
     object2Dao.performImportOperation(listOfObject2); 

Answer 1

最大堆大小的增加不會幫你的。你的朋友是batching。

Hibernate不會隱式地使用JDBC批處理，並且每個INSERT和UPDATE語句都是分別執行的。閱讀"How do you enable batch inserts in hibernate?"以獲取有關如何啓用它的信息。

請注意IDENTITY生成器，如it disables batch fetching。