實木複合地板創建從熊貓數據框轉換爲pyarrow表不適用於對象dtype

Question

我想從csv文件創建地板文件。出於測試目的，我有一段代碼讀取一個文件，並將其轉換爲熊貓數據幀，然後轉換爲pyarrow表。此表然後存儲在AWS S3上，並希望在表上運行配置單元查詢。

Inputfile中的內容：

YEAR|WORD 
2017|Word 1 
2018|Word 2 

代碼：

dataFrame=pd.read_csv(inputFile, sep='|') 
print(dataFrame) 
print(dataFrame.dtypes) 
print(dataFrame.columns) 
dataFrame['C1'] = dataFrame['C1'].astype('str') 
print(dataFrame.dtypes) 
table=pa.Table.from_pandas(dataFrame)#,schema=pa.string()) 
pq.write_table(table, outputFile) 

寫入pyarrow表後，我詢問了拼花文件，以確保數據良好將存儲在S3。然而結果很奇怪：

+--------+--------------+ 
| YEAR |  WORD  | 
+--------+--------------+ 
| 2017 | [B@60716d4f | 
| 2018 | [B@36bf8f00 | 
+--------+--------------+ 

不知何故int值顯示很好，但是object/str值沒有被正確轉換。

感謝您對此的幫助。

謝謝。

Answer 1

這個複製對我來說很適合往返。請註明您的平臺&版本python，pandas和pyarrow

在3.6/macox（也工作2.7）

In [1]: import pandas as pd 

In [2]: import pyarrow as pa 

In [3]: pd.__version__ 
Out[3]: '0.19.2' 

In [4]: pa.__version__ 
Out[4]: '0.2.0' 

In [5]: data = """YEAR|WORD 
    ...: 2017|Word 1 
    ...: 2018|Word 2 
    ...: """ 

In [6]: df = pd.read_csv(StringIO(data), sep='|') 

In [7]: df 
Out[7]: 
    YEAR WORD 
0 2017 Word 1 
1 2018 Word 2 

In [8]: df.dtypes 
Out[8]: 
YEAR  int64 
WORD object 
dtype: object 

In [9]: table=pa.Table.from_pandas(df) 

In [10]: import pyarrow.parquet as pq 

In [12]: pq.write_table(table, 'foo.pk') 

In [13]: pq.read_table('foo.pk').to_pandas() 
Out[13]: 
    YEAR WORD 
0 2017 Word 1 
1 2018 Word 2 

In [14]: pq.read_table('foo.pk').to_pandas().dtypes 
Out[14]: 
YEAR  int64 
WORD object 
dtype: object