pytables

1熱度

1回答

我想用macports安裝py-tables。我以前用fortran安裝過hdf5。某處似乎出現了錯誤。當我嘗試運行： port install py-tables +fortran 我得到的錯誤： Error: +fortran requires a fortran compiler to be selected 我有在路徑的Fortran編譯器。我如何告訴macports選擇使用端口安裝的

3熱度

1回答

使用HDFStore壓縮數據

我是pytables的新手，並且有關於存儲壓縮的熊貓DataFrame的問題。我當前的代碼是： import pandas # HDF5 file name H5name="C:\\MyDir\\MyHDF.h5" # create HDF5 file store=pandas.io.pytables.HDFStore(H5name) # write a pandas DataFra

2熱度

1回答

大熊貓，具有不同數量列的大文件，在內存中追加

我想維護一個hdf5文件中的大型PyTable。通常作爲新的數據來了，我會追加到現有的表： store = pd.HDFStore(path_to_dataset, 'a') store.append("data", newdata) store.close() 但是，如果舊的存儲數據的列和那些進入newdata的是僅部分重疊，則返回了以下錯誤： Exception: c

0熱度

2回答

PyTables：從表中選擇行並應用Numexpr

是否可以從PyTable中的表中選擇行並將類Numexpr表達式應用於輸出？例如，如果我有表 import tables as tb class Event(tb.IsDescription): x = tb.Float32Col() y = tb.Float32Col() z = tb.Float32Col() 我想的"x+y"其中"z > 10.0"陣列。

1熱度

1回答

PyTables DTYPE對齊問題

考慮下面的代碼： import os import numpy as np import tables as tb # Pass the field-names and their respective datatypes as # a description to the table dt = np.dtype([('doc_id', 'u4'), ('word', 'u4'),

2熱度

1回答

PyTables和HDF5：大量的樹數據開銷

我有一個樹數據結構，我想保存到磁盤。因此，具有內部樹結構的HDF5似乎是最佳人選。但是，到目前爲止，數據開銷很大，達到了100倍！測試樹包含大約100個節點，葉子通常包含不超過2或3個數據項（如雙打）。如果我拿走整棵樹並醃製它，它大約是21kB。但是，如果我使用PyTables並將樹結構一對一映射到HDF5文件，則該文件佔用2.4MB（！）磁盤空間。這是很大的開銷嗎？問題是開銷看起來並不是恆定

1熱度

1回答

通過選擇行

更新pytable再次，我需要的幫助從別人經歷了PyTables ... 我有一個PyTable（.h5文件），我有一個非常棘手的方式來更新它的行.. 。我解釋... 表看起來或多或少像這樣 Day attempt ok 1 1 1 1 2 0 1 3 1 2 1 1 2 2 1 2 3 1 3 1 1 3 2 1 3 3 0

2熱度

1回答

檢查密鑰是否在沒有路徑的HDF5Store中

使用pandas/pytables，可以使用store.keys()輕鬆返回密鑰列表。 >>> store.keys() ['/df_coord', '/metaFrame'] 使用標準字典檢查，看是否有鍵存在，if 'df_coord' in store.keys():，除非包含/返回false。有沒有另一個簡單的方法來評估一個密鑰的存在而不必加入字符串？

0熱度

1回答

通過很多日誌搜索（最好在Python中）

問題：找到2個月前和1個月前的時間之間的日誌行，並且這些日誌行必須包含幾個指定的詞（甚至不需要正則表達式，儘管它會很高興有他們）。捕獲：有20T +的日誌（gzipped！）篩選和搜索必須快速（最好在幾秒鐘內完成）。我的第一個想法是使用PyTables，因爲我在Pandas中存儲了各種數值數據以及日誌行時間戳和日誌行本身（我可以使用表格格式IIRC存儲在Pandas的HDFStore中），使用

1熱度

2回答

如何在python中讀取大塊圖像？

我試圖計算兩個圖像的像素值的差異，但我遇到內存問題，因爲我擁有的圖像是相當大的。在Python中有沒有辦法讓我可以讀取圖像，而不是嘗試讀取整個圖像？我希望通過以小塊讀取圖像來解決內存問題，將這些塊分配給numpy數組，然後使用pytables保存這些numpy數組以進一步處理。任何建議將不勝感激。問候，伯克