large-data-volumes

2熱度

5回答

我們有一個應用程序的一部分，比如說需要讀取超過內存限制的數據量的20％的時間。雖然我們可以增加內存限制，但是我們不願意這麼做，因爲在大多數情況下不需要時，它需要高分配。我們正在考慮使用自定義的java.util.List實現在我們像這樣點擊峯值負載時後臺恢復到磁盤，但是在較輕的情況下會保留在內存中。數據一次加載到集合中，隨後迭代並處理，然後丟棄。它不需要在集合中進行排序。有沒有人有這樣的做法

1熱度

3回答

將擴充的有序文件寫入磁盤的策略

我是一位正在研究數據分析程序的核物理研究生。數據由數十億個多維點組成。反正我使用空間填充曲線將多個維度映射到一個維度，並且我使用B +樹索引數據頁面。每個頁面都會有一些不變的最大點數。當我從原始文件中讀取原始數據（數百個演出）並進行預處理和索引時，我需要將各個點插入到頁面中。顯然，將會有太多的頁面將它們簡單地存儲在內存中，然後將它們轉儲到磁盤。所以我的問題是：什麼是將頁面寫入磁盤的好策略，以便

1熱度

5回答

刪除給定列表中除行號以外的其他所有行

所以基本上這裏是我想要做的事情：我有一個帳戶表，我有一個acct_id列表：（3,24,515,6326,17），假設我在表中有大約10萬個帳戶，除了我的給定列表中的account_id之外，刪除所有其他行的最有效方法是什麼？我想出了這樣的： delete from account where acct_id is not in (3, 24, 515, 6326, 17); 我聽到這個查詢

1熱度

1回答

啓動mysql時是否需要運行mysqlcheck？

我有一個很大的數據庫（大約10 GB，帶有一個20 GB的innodb緩衝池）數據庫，並且已經注意到，當我啓動它時，大約在運行的前半個小時內，數據庫將定期鎖定和解鎖所有表，對於在數據庫重新啓動後的前半小時嘗試訪問我們的網站的用戶而言，這是非常不愉快的。雖然我不能100％確定的因果關係，我注意到，該數據庫鎖定和解鎖本身的時間與時間一致的是 /usr/bin/mysqlcheck --default

14熱度

2回答

使用Web服務傳輸大型有效負載的想法不明確嗎？

I gather基本上，通過POST或GET使用REST時可以發送的數據量沒有限制。儘管我沒有使用REST或Web服務，但似乎大多數服務都涉及傳輸有限數量的數據。如果你想轉移1-5MB的數據（在任何方向）的Web服務被認爲是一個壞主意？更新：我們正在考慮通過REST服務連接的應用程序是內部應用程序。我們確實有選擇其他連接選項（即：RMI）

3熱度

2回答

在Java中相當於STXXL

我正在尋找一個爲Java中的大型數據集設計的集合框架，其行爲透明，就像STXXL對C++所做的那樣。它應該透明地交換到磁盤，但以一種比普通的基於OS的VM交換更有效的方式。一個StringBuffer/String插入替換將是一個很大的優點。

2熱度

5回答

有沒有辦法在內存中維護200MB不可變數據結構並從腳本訪問它？

我有一個900萬IP的列表，並且使用一組哈希表，我可以創建一個常量時間函數，如果某個特定IP位於該列表中，則返回該函數。我可以在PHP中執行嗎？如果是這樣，怎麼樣？

1熱度

4回答

什麼數據驗證方法最適合於大數據集

我有一個大型數據庫並希望實現一項功能，該功能允許用戶對信息進行批量更新。用戶下載一個excel文件，進行更改並且系統接受excel文件。用戶使用Web界面（ASP.NET）將數據從數據庫下載到Excel。用戶修改Excel文件。只有某些數據被允許修改爲其他地圖到數據庫中。一旦用戶滿意他們的更改，他們就會通過ASP.NET界面上傳更改後的Excel文件。現在，服務器的工作是從Excel文件中

0熱度

1回答

「大」數據集有多少個？

假定無限存儲其中大小/容量/物理（度量，千兆字節/特拉特）不會影響元素及其標籤的數量，統計模式應該已經出現在30個子集上，但是您是否同意少於1000個子集是太少以至於不能測試，並且至少10000個不同的子集/「元素」，「條目」/實體是「大數據集」。還是更大？謝謝

0熱度

2回答

如何使用put（）在Google應用程序引擎中向數據存儲添加超過500個條目？

我試圖通過對db.put（）的調用來添加列表中的批次數據。但它偶爾會超時。任何人有一些提示？