h5py

1熱度

1回答

我有一個data.h5文件組織成多個塊，整個文件有幾百吉字節。我需要以Pandas DataFrame的形式在內存中處理文件的過濾子集。以下例程的目標是將篩選工作分佈到多個進程，然後將篩選結果連接到最終的DataFrame中。由於從文件讀取需要大量的時間，我試圖讓每個進程都以併發的方式讀取自己的塊。 import multiprocessing as mp, pandas as pd st

1熱度

1回答

喂多維數據集

在這裏蟒蛇h5py錯誤是我的問題，它工作在1的情況下，而不是在案件2： import h5py import numpy as np data = np.random.randint(0,256,(5,), np.uint8) f = h5py.File('test.h5','w') f.create_dataset('1',(3,5), np.uint8) f.create_dat

0熱度

1回答

如何在HDF5中製作多維數據集？

例如，我希望有兩個數據集，一個是Input，另一種是Output 在Input的數據和Output是多變暗。如但我在h5py，input_node和output_node注意是固定的。 Input = f.create_dataset('Input', (3,input_node),dtype='float', chunks=True) Output = f.create_dataset('

0熱度

1回答

計算大numpy數組的平均值，這是從hdf5文件memmapped

我有一個問題，計算numpy中的數組的平均值，對RAM（〜100G）來說太大。我已經研究過使用np.memmap，但不幸的是我的數組被存儲爲HDF5文件中的數據集。根據我的嘗試，np.memmap不接受hdf5數據集作爲輸入。 TypeError: coercing to Unicode: need string or buffer, Dataset found 那麼我怎樣才能以高效的方式在磁盤

1熱度

1回答

從.h5文件加載圖像數據，在Python 3.5和h5py中顯示不尋常的顏色

我正在使用.h5文件來存儲大量圖像數據。然後調整圖像大小並將其存儲在其中。圖像創建數據集： t1=hdf5_file.create_dataset("train_img", train_shape, np.int8) 遍歷圖像地址調整，並將其儲存： for i in range(len(train_addrs)): addr = train_addrs[i] img = cv

3熱度

1回答

R中的錯誤：需要h5py Python包來保存和加載模型

我正在使用R 3.4.2。我下面從decryptrpackage library(decryptr) # Download captchas captcha <- download_tjmg(dest = 'img') keras_tjmg <- decryptrModels::read_model('tjmg') 最後的代碼行例如產生一個錯誤 Error in keras::load

2熱度

2回答

如何在Python列表理解中關閉文件？

我試圖從許多HDF5文件中提取值並將其存儲在列表中。 import h5py h = [h5py.File('filenum_%s.h5' % (n),'r')['key'][10][10] for n in range(100)] 這個列表解析包含從HDF5文件filenum0.h5 'key' 的陣列中的網格點（10，10）的值 - filenum99.h5。它的工作原理，但它停止與周

1熱度

1回答

如何解決從EASE-2網格產品SMAP到地理座標的重投影？

我一直在使用SMAP數據衛星，專門用於溼度和土壤比例。我按照使用的想法GDAL解決一切，並與此類似刊登在Link to first approach to download SMAP data 對矯正代碼和測試的東西： import os import h5py import numpy as np from osgeo import gdal, gdal_array, osr

1熱度

1回答

如何使用h5py

我有具有3點矩陣A，B，C. 其實我使用scipy.io到如下導入此墊文件.MAT文件導入.MAT-7.3版文件。 data = sio.loadmat('/data.mat') A = data['A'] B = data['B'] C = data['C'] 但是，v7.3文件不能使用這種方式導入。所以，我試圖導入使用h5py，但我不知道如何使用h5py。我的代碼如下。 f =

0熱度

1回答

熊貓HDF5 numpy創建的數據幀不能使用.head（）或display（df）

我從HDF5文件中提取numpy數據（所有非零浮點數），然後將其轉換爲熊貓數據幀，然後嘗試顯示數據裏面，但這是失敗的。我在Jupyter筆記本上做了所有這些。 import h5py # necessary for storing import pandas as pd from IPython.display import display, HTML h5 = h5py.File('so