熊貓將數據框轉換爲元組陣列

Question

我已經使用熊貓操縱了一些數據，現在我想執行批量保存回數據庫。這需要我將數據幀轉換爲元組數組，每個元組對應於數據幀的「行」。

我的數據框看起來像：

In [182]: data_set 
Out[182]: 
    index data_date data_1 data_2 
0 14303 2012-02-17 24.75 25.03 
1 12009 2012-02-16 25.00 25.07 
2 11830 2012-02-15 24.99 25.15 
3 6274 2012-02-14 24.68 25.05 
4 2302 2012-02-13 24.62 24.77 
5 14085 2012-02-10 24.38 24.61 

我想將其轉換爲像元組的數組：

[(datetime.date(2012,2,17),24.75,25.03), 
(datetime.date(2012,2,16),25.00,25.07), 
...etc. ] 

我如何能有效地做到這一點任何建議？

Answer 1

如何：

subset = data_set[['data_date', 'data_1', 'data_2']] 
tuples = [tuple(x) for x in subset.values] 

Answer 2

的一般方法：

[tuple(x) for x in data_set.to_records(index=False)] 

Answer 3

list(data_set.itertuples(index=False)) 

由於17.1，上面會返回namedtuples名單 - 看到docs。

Answer 4

這裏的一個矢量化的方法（假設數據幀，data_set被定義爲df代替），該返回的tuples一個list如圖所示：

>>> df.set_index(['data_date'])[['data_1', 'data_2']].to_records().tolist() 

生產：

[(datetime.datetime(2012, 2, 17, 0, 0), 24.75, 25.03), 
(datetime.datetime(2012, 2, 16, 0, 0), 25.0, 25.07), 
(datetime.datetime(2012, 2, 15, 0, 0), 24.99, 25.15), 
(datetime.datetime(2012, 2, 14, 0, 0), 24.68, 25.05), 
(datetime.datetime(2012, 2, 13, 0, 0), 24.62, 24.77), 
(datetime.datetime(2012, 2, 10, 0, 0), 24.38, 24.61)] 

設定的想法日期時間列作爲索引軸將有助於將Timestamp值轉換爲其對應的datetime.datetime格式，即通過使用th e convert_datetime64參數DF.to_records，它對DateTimeIndex數據幀這樣做。

這將返回一個recarray這可以再製成使用取決於使用情況.tolist

---

更廣義的解決辦法是將返回list：

df.to_records().tolist()        # Supply index=False to exclude index 

Answer 5

更多Python的方式：

df = data_set[['data_date', 'data_1', 'data_2']] 
map(tuple,df.values) 

Answer 6

動機
許多數據集足夠大，我們需要關注速度/效率。所以我以這種精神提供這個解決方案。它恰好也是簡潔的。

爲了比較的緣故，讓我們放下index列

df = data_set.drop('index', 1) 

解決方案
我會建議使用zip和理解

list(zip(*[df[c].values.tolist() for c in df])) 

[('2012-02-17', 24.75, 25.03), 
('2012-02-16', 25.0, 25.07), 
('2012-02-15', 24.99, 25.15), 
('2012-02-14', 24.68, 25.05), 
('2012-02-13', 24.62, 24.77), 
('2012-02-10', 24.38, 24.61)] 

這恰好也是如果我們想要處理一列特定的子集，就很靈活。我們假設我們已經顯示的列是我們想要的子集。

list(zip(*[df[c].values.tolist() for c in ['data_date', 'data_1', 'data_2'])) 

[('2012-02-17', 24.75, 25.03), 
('2012-02-16', 25.0, 25.07), 
('2012-02-15', 24.99, 25.15), 
('2012-02-14', 24.68, 25.05), 
('2012-02-13', 24.62, 24.77), 
('2012-02-10', 24.38, 24.61)] 

---

以下所有產生相同的結果

• [tuple(x) for x in df.values]
• df.to_records(index=False).tolist()
• list(map(tuple,df.values))
• list(map(tuple, df.itertuples(index=False)))

---

什麼更快？
zip和理解是大幅度更快

%timeit [tuple(x) for x in df.values] 
%timeit list(map(tuple, df.itertuples(index=False))) 
%timeit df.to_records(index=False).tolist() 
%timeit list(map(tuple,df.values)) 
%timeit list(zip(*[df[c].values.tolist() for c in df])) 

小數據

10000 loops, best of 3: 55.7 µs per loop 
1000 loops, best of 3: 596 µs per loop 
10000 loops, best of 3: 38.2 µs per loop 
10000 loops, best of 3: 54.3 µs per loop 
100000 loops, best of 3: 12.9 µs per loop 

大型數據

10 loops, best of 3: 58.8 ms per loop 
10 loops, best of 3: 43.9 ms per loop 
10 loops, best of 3: 29.3 ms per loop 
10 loops, best of 3: 53.7 ms per loop 
100 loops, best of 3: 6.09 ms per loop 

Answer 7

#try this one: 

tuples = list(zip(data_set["data_date"], data_set["data_1"],data_set["data_2"])) 
print (tuples)