large-data

    0熱度

    2回答

    我們正在開發一種產品,可用於開發預測模型以及數據的切片和切片以提供BI。 我們有兩種數據訪問要求。 對於預測建模,我們需要每天讀取數據並逐行進行。在這個正常的SQL Server數據庫就足夠了,我們沒有遇到任何問題。 對於像1GB數據這樣的巨大尺寸的數據進行切片和切塊的情況下,我們說300 M行。我們希望以最短的響應時間輕鬆地轉發數據。 當前SQL數據庫在此有響應時間問題。 我們喜歡我們的產品在任

    10熱度

    4回答

    我的目標實際上是將數據庫的所有數據轉儲到XML文件中。數據庫不是非常大,大約300MB。問題是我的內存限制只有256MB(在JVM中)。很顯然,我不能只是把所有的東西都看成記憶。 我設法解決這個問題,使用iBatis(是的,我的意思是iBatis,而不是myBatis)通過多次調用它的getList(... int skip, int max),增加skip。這確實解決了我的記憶問題,但我對速度並

    3熱度

    1回答

    我有一個應用程序,我正在工作,它有一些相互依賴的數據。基本上,我有一組數字字段用於計算其他數字字段,然後用於計算其他字段。我正在嘗試確定處理潛在的大量更改的最佳方法。 我想到的一個解決方案是,我可以覆蓋可由用戶修改的值的setter,以執行計算,然後適當地更新數據對象中的其他值。這個最大的缺點是需要編寫大量的(有些模板的)代碼。 我想到的另一個解決方案是使用鍵值觀察來處理數據更改,然後從這些更改中

    3熱度

    4回答

    我遇到了與巨大的固定長度記錄數據文件交互的問題。該文件大小超過14 GB。考慮到文件中的字節數和每條記錄的長度,當我看到System.Filesize()函數的返回值遠遠小於大文件中的實際記錄數時,我首先注意到了一個問題。 (System.Filesize返回在Reset()調用期間指定的記錄大小的非類型化文件中的記錄數,它不會返回文件中的字節數)。我把它歸類爲返回類型System.Filesiz

    0熱度

    3回答

    這是處理:當我的web服務器啓動時,它創建了一個很長的(20M的元素)數組與真正的小對象(如1-2-3 ints )。任何單個陣列的累積大小不得超過2GB(CLR的限制,有關詳細信息,請參閱下面的鏈接)。 w3wp.exe的內存使用量增長接近2GB(絕不會超過這個數量)。該代碼編譯爲Any CPU平臺模式,並在具有8GB RAM的Windows 7 x64上運行。 究竟是什麼讓它在創建我的列表時拋

    0熱度

    2回答

    我正在做一些調查jqgrid,一切工作正常,直到我加載包含大約1M數據庫中的大量數據,jqgrid現在不顯示,當我縮小數據庫的行數100K,數據將顯示,但我仍然需要多次刷新頁面,我縮小到10K,它工作正常,我不確定jqgrid的大小有限?等等,我可以將數據保存到本地文件,該文件通過url返回,並將其上傳到服務器,並將url更改爲文件,jqgrid可以將其顯示出來。 ?代碼是在這裏:下面 <scri

    1熱度

    1回答

    我有大量的數據(存儲在文件中,但它是無關緊要的 - 主要部分是數據不適合內存) - 比方說10 記錄行。 該記錄包含時間,一些密鑰集和數據。鑰匙不是唯一的。 例如 keys: data: A | B | C | ---------------------- 1 | 2 | 3 | 10 1 | 1 | 3 | 150 1 | 1 | 2 | 140 1 | 2 | 5 | 130

    1熱度

    2回答

    AX,AY,AZ的創建矩陣:[N逐N] B = AA(二進制) 這意味着: B(i,j)= [Ax(i,j);Ay(i,j);Az(i,j)]*[Ax(i,j) Ay(i,j) Az(i,j)] B(i,j):3×3矩陣。 一到構建體B的方法是: N=2; Ax=rand(N); Ay=rand(N); Az=rand(N); %# [N-by-N] t=1; F=zeros(3,3,

    10熱度

    2回答

    給定的大型數據集不適合內存,是否有任何庫或API在Java中執行排序? 該實現可能類似於Linux實用程序排序。

    30熱度

    2回答

    我有一個項目,我必須在數據範圍從兆字節到兆字節的範圍內實現快速搜索,插入和刪除操作。我一直在研究最近的數據結構並分析它們。作爲具體的,我想對引進3例,提出問題: 的數據比什麼內存可以一氣呵成處理(10-15 TB的樣本範圍)等等。在這種情況下,我會將數據結構存儲在磁盤上。 與系統的內存相比,數據相對較少,因此可以在存儲器本身中存儲和操作以提高速度。 數據不僅僅是空閒內存,並且假定它小於分頁文件中可