h5py

8熱度

1回答

我一直在使用scipy.io來保存我的結構化數據（列表和填充了不同形狀的ndarrays的詞典）。由於v7.3 mat文件將在某天取代舊的v7 mat格式，因此我正在考慮切換到HDF5來存儲我的數據，更具體地說，是用於python的h5py。然而，我注意到，我無法將字典保存一樣簡單： import scipy.io as sio data = {'data': 'Complicated stru

0熱度

1回答

帶有h5py的數據集上的循環的性能問題

我想對包含在hdf5文件中的數據集應用簡單的函數。我利用類似於代碼這個 import h5py data_sums = [] with h5py.File(input_file, "r") as f: for (name, data) in f["group"].iteritems(): print name # data_sums.append(data

2熱度

2回答

Python字典太滿了還是別的什麼？

我有大約1300個h5文件用h5py分類成字典。當我在大約250個文件運行我的代碼，它工作正常，但更大的任何款項給我的錯誤： Traceback (most recent call last): File "solution_script.py", line 31, in <module> File "build/bdist.macosx-10.7-intel/egg/h5py

2熱度

1回答

用h5py填充具有相同化合物數據值的數據集的快速方法

我在hdf文件中有大量的化合物數據。該化合物的數據的類型看起來如下： numpy.dtype([('Image', h5py.special_dtype(ref=h5py.Reference)), ('NextLevel', h5py.special_dtype(ref=h5py.Reference))]) 隨着我創建和到圖像的引用在每個位置另一數據集的數據集。這些數據集的維

1熱度

1回答

在python中加載matlab稀疏矩陣（matlab v 7.3）

我有一個數據文件存儲需要在我的python程序中使用的大型matlab稀疏矩陣（matlab 7.3）。我使用h5py加載這個稀疏矩陣，並發現有3個數據結構與稀疏矩陣相關聯。假設稀疏矩陣的名稱爲M，三種數據結構爲M ['data']，M ['ir']，M ['jc']。起初，我認爲M ['ir']和M ['jc']存儲非零項的行索引和列索引，但我剛剛發現在M ['jc']中存在一些大於行數稀疏矩陣

0熱度

1回答

在matplotlib中使用動畫的顏色映射問題

我使用matplotlib.animation來爲名爲arr的3D數組中的數據設置動畫效果。我使用h5py庫從h5文件讀取數據，一切正常。但是在使用動畫時，色彩映射卡在數據範圍的第一幀中，並且在執行一些步驟後，它會在繪圖時顯示未標準化的顏色。這裏是我的代碼： import numpy as np import h5py import matplotlib.pyplot as plt imp

19熱度

5回答

合併hdf5文件

我有一些hdf5文件，每個文件都有一個數據集。數據集太大而無法保存在RAM中。我想將這些文件合併爲一個單獨的文件，其中包含所有數據集（即而不是，以將數據集連接成單個數據集）。一種方法是創建一個hdf5文件，然後逐個複製數據集。這將是緩慢和複雜的，因爲它需要緩衝副本。有沒有更簡單的方法來做到這一點？似乎應該有，因爲它本質上只是創建一個容器文件。我正在使用python/h5py。

2熱度

3回答

在使用h5py軟件包讀取hdf文件時出錯python

我想從我從 MODIS網站下載的hdf文件中提取數據。鏈接中提供了一個示例文件。 >>> import h5py >>> f = h5py.File('MYD08_M3.A2002182.051.2008334061251.psgscs_000500751197.hdf', 'r') 我得到的錯誤：我用下面的代碼行讀取HDF文件 Traceback (most recent call las

3熱度

1回答

h5py選擇性讀取

我在使用h5py時遇到了選擇性讀入例程的問題。 f = h5py.File('file.hdf5','r') data = f['Data'] 我在'數據'數據集中有一些正值，還有一些帶-9999的佔位符。我如何才能得到像np.min這樣的計算所有正值？ np.ma.masked_array創建數組的完整副本，並且使用h5py的所有好處都將丟失...（關於內存使用情況）。問題是，如果我嘗試

3熱度

1回答

使用Python生成保存在H5文件中的非常大的數據集中的pcolormesh圖像

我正在收集大量數據，這些數據將使用h5py保存到各個H5文件中。我想將這些圖像拼貼到一個pcolormesh圖中以保存爲單個圖像。我一直在處理的一個快速示例將生成2000x2000個隨機數據點的數組，並使用h5py將它們保存在H5文件中。然後我嘗試導入這些文件中的數據，並嘗試將它作爲pcolormesh繪製在matplotlib中，但我總是遇到memoryError（這是預期的）。 import