使用Hibernate的ScrollableResults緩慢讀取9000萬條記錄

Question

我只需要使用Hibernate讀取MySQL數據庫中的表中的每一行並根據它編寫一個文件。但是有9000萬行，它們非常大。因此，它似乎像以下是合適的：

ScrollableResults results = session.createQuery("SELECT person FROM Person person") 
      .setReadOnly(true).setCacheable(false).scroll(ScrollMode.FORWARD_ONLY); 
while (results.next()) 
    storeInFile(results.get()[0]); 

的問題是上面會嘗試在移動到while循環之前，所有90個百萬行加載到RAM中......這會殺了我的記憶的OutOfMemoryError ：Java堆空間異常:(。

所以我想ScrollableResults不是我在找什麼？處理這個問題的正確方法是什麼？我不介意如果這個while循環需要幾天（好吧我會愛它不）

我想唯一的其他方式來處理這個是使用setFirstResult和setMaxResults遍歷結果，只是我們定期的Hibernate結果而不是ScrollableResults。這感覺就像是效率低下，而且我會在第89萬行調用setFirstResult時開始花費很長時間...

更新：setFirstResult/setMaxResults不起作用，事實證明需要如我擔心的那樣長時間無法抵達偏移。這裏必須有一個解決方案！這不是一個非常標準的程序嗎？我願意放棄Hibernate並使用JDBC或其他方法。

更新2：該解決方案，我想出來的，其工作正常，不是很大，是基本形式：

select * from person where id > <offset> and <other_conditions> limit 1 

因爲我有其他的條件下，即使所有的索引，它仍然不是儘快我希望它是...所以仍然打開其他建議..

Answer 1

使用setFirstResult和setMaxResults是我知道的唯一選項。

傳統上，可滾動結果集只會根據需要將行傳輸到客戶端。不幸的是，MySQL Connector/J實際上僞裝它，它執行整個查詢並將其傳輸到客戶端，所以驅動程序實際上已將整個結果集加載到RAM中，並將滴灌給您（由您的內存不足問題證明） 。你有正確的想法，這只是MySQL java驅動程序中的缺點。

我發現沒有辦法解決這個問題，所以使用常規setFirst/max方法加載大塊。對不起，成爲壞消息的使者。

只要確保，所以沒有會話級高速緩存或髒跟蹤等使用無狀態會話

編輯：

您的更新2就是你要得到的，除非你打出來的最好的MySQL J/Connector。儘管沒有理由無法提高查詢的限制。假如你有足夠的內存來保存索引，這應該是一個稍微便宜的操作。我會稍微修改它，並且一次抓取一個批次，並使用該批次的最高ID來抓取下一批。

注：這一點，如果other_conditions用平等（不允許範圍的條件），並有索引的最後一列ID纔會工作。

select * 
from person 
where id > <max_id_of_last_batch> and <other_conditions> 
order by id asc 
limit <batch_size> 

Answer 2

有9000萬條記錄，這聽起來像你應該批量你的選擇。在初始加載到分佈式緩存中時，我已經完成了Oracle的工作。縱觀MySQL文檔，相當於好像是用LIMIT子句：http://dev.mysql.com/doc/refman/5.0/en/select.html

下面是一個例子：

SELECT * from Person 
LIMIT 200, 100 

這將返回行201通過Person表300。

您需要首先從您的表中獲取記錄計數，然後將其除以批量大小，然後從中找出循環和LIMIT參數。

這樣做的另一個好處是並行性 - 您可以在此平行執行多個線程，以加快處理速度。

處理9000萬條記錄聽起來並不像使用Hibernate的甜蜜點。

Answer 3

我已經成功地使用過Hibernate的滾動功能，而其閱讀設置。有人說，MySQL不會做真正的滾動遊標的整個結果，但它聲稱基於JDBC的dmd.supportsResultSetType（的ResultSet .TYPE_SCROLL_INSENSITIVE）並在其周圍搜索似乎其他人已經使用它。確保它沒有在會話中緩存Person對象 - 我在沒有實體緩存的SQL查詢中使用它。您可以在循環結束時調用evict來確保或使用sql查詢進行測試。還可以使用setFetchSize來優化到服務器的訪問次數。

Answer 4

問題可能在於，Hibernate會在會話中保持對會話中所有對象的引用，直到您關閉會話。這與查詢緩存無關。在完成將對象寫入文件之後，可能會有助於將會話中的對象逐出（）。如果它們不再被會話引用，則垃圾回收器可以釋放內存，並且不會再耗盡內存。

Answer 5

其實你可能已經得到了你想要的東西 - 低內存滾動結果與MySQL的 - 如果你曾使用這裏提到的答案：

Streaming large result sets with MySQL

請注意，您有問題與Hibernate懶因爲它會在滾動完成之前執行的任何查詢中拋出異常。

Answer 6

將查詢中的提取大小設置爲如下所示的最佳值。

另外，當不需要緩存時，最好使用StatelessSession。

ScrollableResults results = session.createQuery("SELECT person FROM Person person") 
     .setReadOnly(true) 
     .setFetchSize(1000) // <<--- !!!! 
     .setCacheable(false).scroll(ScrollMode.FORWARD_ONLY) 

Answer 7

FetchSize必須是Integer.MIN_VALUE，否則不起作用。

它必須從官方參考字面上理解：http://dev.mysql.com/doc/refman/5.0/en/connector-j-reference-implementation-notes.html

Answer 8

您應該能夠使用，儘管它需要一些魔法咒語讓使用MySQL。我寫了我的發現在一篇博客文章（http://www.numerati.com/2012/06/26/reading-large-result-sets-with-hibernate-and-mysql/），但我會在這裏總結：

「的[JDBC]文件說：

To enable this functionality, create a Statement instance in the following manner: 
stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY, 
       java.sql.ResultSet.CONCUR_READ_ONLY); 
stmt.setFetchSize(Integer.MIN_VALUE); 

這可以使用查詢界面來完成（這應該工作對於在Hibernate API的版本3.2+標準以及）：

Query query = session.createQuery(query); 
query.setReadOnly(true); 
// MIN_VALUE gives hint to JDBC driver to stream results 
query.setFetchSize(Integer.MIN_VALUE); 
ScrollableResults results = query.scroll(ScrollMode.FORWARD_ONLY); 
// iterate over results 
while (results.next()) { 
    Object row = results.get(); 
    // process row then release reference 
    // you may need to evict() as well 
} 
results.close(); 

這可以讓你流過的結果集，但是Hibernate會仍然緩存導致Session，所以你需要調用session.evict()或每隔一段時間。如果你只是讀取數據時，你可能會考慮使用StatelessSession，但應事先閱讀它的文檔。」

Answer 9

我建議超過sample code多，但基於Hibernate查詢模板來做到這一點的解決辦法爲你（pagination， scrolling和clearing Hibernate會話）。

它也很容易地適應使用EntityManager。

Answer 10

最近我工作過的一個問題是這樣的，我寫了一篇關於如何面對這個問題博客，很喜歡，我希望對任何人都有幫助。 我使用懶列表方法進行部分搜索。我將查詢的限制和偏移或分頁替換爲手動分頁。 在我的例子中，選擇收益1000萬的紀錄，我讓他們在一個「時間表」將它們插入：

create or replace function load_records() 
returns VOID as $$ 
BEGIN 
drop sequence if exists temp_seq; 
create temp sequence temp_seq; 
insert into tmp_table 
SELECT linea.* 
FROM 
(
select nextval('temp_seq') as ROWNUM,* from table1 t1 
join table2 t2 on (t2.fieldpk = t1.fieldpk) 
join table3 t3 on (t3.fieldpk = t2.fieldpk) 
) linea; 
END; 
$$ language plpgsql; 

在那之後，我可以分頁不指望每一行，但使用分配的順序：

select * from tmp_table where counterrow >= 9000000 and counterrow <= 9025000 

從java的角度來看，我通過部分採用惰性列表實現了這種分頁。這是一個從Abstract列表擴展並實現get（）方法的列表。 get方法可以使用數據訪問接口以繼續獲得下一組數據並釋放內存堆：由另一方面

@Override 
public E get(int index) { 
    if (bufferParcial.size() <= (index - lastIndexRoulette)) 
    { 
    lastIndexRoulette = index; 
    bufferParcial.removeAll(bufferParcial); 
    bufferParcial = new ArrayList<E>(); 
     bufferParcial.addAll(daoInterface.getBufferParcial()); 
    if (bufferParcial.isEmpty()) 
    { 
     return null; 
    } 

    } 
    return bufferParcial.get(index - lastIndexRoulette);<br> 
} 

，數據訪問接口使用查詢分頁並實現了一個方法，逐步迭代，每個25000條記錄完成全部。

結果這種方法可以在這裏 http://www.arquitecturaysoftware.co/2013/10/laboratorio-1-iterar-millones-de.html

Answer 11

如果你「跑出來的RAM」另一種選擇是隻要求說，一列，而不是整個對象How to use hibernate criteria to return only one element of an object instead the entire object?（看到節省了大量的CPU處理時間來引導）。