可以在兩個Python程序寫入和讀取的同時

Question

同一個HDF5文件，我有2個Python程序：

1）數據reciever：這是一個在龍捲風writen TCP服務器，約3000行數據會每秒發送一次。這裏是左撇子：

def _on_data_rev(data_list): 
    tickstore_file=r"d:\data\2016_01_11.h5" 
    tempdf=pd.DataFrame(data_list) 
    hdf_output = pd.HDFStore(tickstore_file, complib='blosc') 
    hdf_output['_'+str(int(time.time()))]=tempdf 
    hdf_output.flush() 

的有關資料非常快，所以這個計劃只做保存工作，但沒有別的。

2）數據分析：計劃2將分析在同一個文件的最新的數據每秒

我可以讀在同一時間的HDF5文件？這會破壞HDF5文件嗎？

Answer 1

您要找的是HDF5的單寫入多讀卡器（SWMR）功能。

SWMR在1.10發佈中列爲new，其公平比特爲documentation。

它也在h5py版本2.5.0。

至於熊貓的支持，我不太確定，因爲我不使用它。