在MySQL中存儲和訪問巨大數據矩陣的最有效方法

Question

我將在mysqlDB中存儲大量矩陣數據什麼是存儲和訪問數據的最有效方式？

獲取數據時效率最重要，表格不會定期更新。

矩陣約爲100.000倍1000（可能在未來大）

 

id1 
value 
value_id1 
id1 
value 
value_id2 
id2 
value 
value_id1 
id2 
value 
value_id2 
. 
. 
. 
id 100.000 
value 
value_id1000 

vs 
    value_id1, value_id2, value_id3 ... id 1000 
id1 value  value  value 
id2 value  value  value 
id3 value  value  value 
. 
. 
. 
id 100.000 

當數據是巨大什麼是最有效的，短暫的拜訪（MySQL查詢）或有存儲作爲數據矩陣？這些數據經常使用，因此提取數據必須高效。

Answer 1

既然你說你想取的效率，我會用下面的表格格式

Column Row Value 
     1 1 1.2 
     2 1 2.3 
     ... 

使用的矩陣的行和列的格式和索引，你可以以最快的速度，你想獲取任何數據部分。

Answer 2

這裏有幾個相關的問題：

• BLOB vs. VARCHAR for storing arrays in a MySQL table
• How to represent a 2-D data matrix in a database

的密集矩陣的答案似乎歸結爲一個標準化的表列，行的列和值，正如上面Taesung所建議的，或者像存儲原始矩陣中的單個行一樣存儲blob。

HDF5看起來是爲了這樣的事情。如果有經驗的人可以進一步評論，這將是非常棒的。