導出熊貓數據框，同時保留模式

Question

我正在處理一個數據框，其每一行由不同的python字典組成。我希望能夠將這些數據存儲到磁盤並移動這些數據，但將數據保存爲.csv文件格式會使格式化信息消失。有沒有可以導出數據框而不丟失其模式的任何格式？

我可以用.parquet格式在pyspark中做類似的事情。熊貓支持有什麼等價物嗎？

Answer 1

我認爲你可以使用DataFrame.to_pickle和pandas.read_pickle：

df = pd.DataFrame({'a':[{'A':1,'B':2}, {'C':7}], 
        'b':[{'D':7}, {'A':8,'C':3}]}) 

print (df) 
        a     b 
0 {'A': 1, 'B': 2}   {'D': 7} 
1   {'C': 7} {'A': 8, 'C': 3} 

print (df.applymap(type)) 
       a    b 
0 <class 'dict'> <class 'dict'> 
1 <class 'dict'> <class 'dict'> 

df.to_pickle('data.pkl') 

df = pd.read_pickle('data.pkl') 
print (df) 
        a     b 
0 {'A': 1, 'B': 2}   {'D': 7} 
1   {'C': 7} {'A': 8, 'C': 3} 

print (df.applymap(type)) 
       a    b 
0 <class 'dict'> <class 'dict'> 
1 <class 'dict'> <class 'dict'>