2012-03-15 81 views
5

我需要一個類似於cdb(常量數據庫)的工具,它允許我在索引中存儲大量數據集(範圍爲幾百GB)文件。國家開發銀行是一個理想的候選人,但它有一個2 GB的文件大小限制,所以它不適合。 我正在尋找的功能是支持二進制密鑰和值的持久性鍵值存儲。創建數據庫後只讀,永遠不會被修改。 你能推薦一些工具嗎?順便說一句,存儲開銷應該很小,因爲我將會存儲數十億條記錄。cdb - 用於大文件(數百GB)的常量鍵值存儲

順便說一句我正在尋找一個數據庫管理庫(可嵌入),而不是一個獨立的服務器。一些可以在C程序中使用的東西。

感謝, RG

回答

3

另一種選擇是MCDB,這是從丹J. Bernstein的CDB延長。

https://github.com/gstrauss/mcdb/

MCDB支持非常大的常量數據庫,比CDB快,無論是創建數據庫和數據庫訪問。但是,創建數百GB的數據庫可能需要一些時間。 mcdb可以在幾秒鐘內爲緩存數據創建一個千兆字節大小的數據庫,或者在從冷藏緩存啓動後一分鐘左右創建一個千兆字節大小的數據庫。

https://github.com/gstrauss/mcdb/blob/master/t/PERFORMANCE

(披露:我是MCDB的作者)

1

有hamsterdb(我是作者)的BerkeleyDB,東京櫃。

hamsterdb使用btree並因此對數據進行排序。東京內閣是一個哈希表,因此不排序。 berkeleydb可以做到這一點。

不用多說什麼,我會建議;)

它們都可以鏈接到一個C應用程序。他們都不應該有2GB的限制。

再見 克里斯托夫

+0

感謝,克里斯托夫。我知道這些KV商店,但正在尋找更低層次的東西。但是現在我認爲這不是一個好主意。昨天我開始嘗試使用伯克利,它可能會完成這項工作。對不起,沒有使用倉鼠 - 伯克利已經安裝在我的系統... – nightwatch 2012-03-18 07:53:34

+0

東京內閣有一個B +樹數據庫... – michaelmeyer 2014-04-28 16:13:53