熊貓數據框索引匹配

Question

我想知道是否有更有效的方法來做一個「索引&匹配」類型的功能，在Excel中流行。例如 - 給兩隻大熊貓DataFrames，更新信息df_1在df_2發現：

import pandas as pd 

df_1 = pd.DataFrame({'num_a':[1, 2, 3, 4, 5], 
        'num_b':[2, 4, 1, 2, 3]})  
df_2 = pd.DataFrame({'num':[1, 2, 3, 4, 5], 
        'name':['a', 'b', 'c', 'd', 'e']}) 

我同那些在兩個df_1和df_2〜8萬行數據集中工作，我的目標是創建兩個新的列在df_1中，「name_a」和「name_b」。

下面是我能想出的最有效的方法。有有是更好的方法！

name_a = [] 
name_b = [] 
for i in range(len(df_1)): 

    name_a.append(df_2.name.iloc[df_2[ 
        df_2.num == df_1.num_a.iloc[i]].index[0]]) 
    name_b.append(df_2.name.iloc[df_2[ 
        df_2.num == df_1.num_b.iloc[i]].index[0]]) 

df_1['name_a'] = name_a 
df_1['name_b'] = name_b 

，導致：

>>> df_1.head() 
    num_a num_b name_a name_b 
0  1  2  a  b 
1  2  4  b  d 
2  3  1  c  a 
3  4  2  d  b 
4  5  3  e  c 

Answer 1

高層

• 創建字典在replace
• replace，rename列使用，並join

---

m = dict(zip(
    df_2.num.values.tolist(), 
    df_2.name.values.tolist() 
)) 

df_1.join(
    df_1.replace(m).rename(
     columns=lambda x: x.replace('num', 'name') 
    ) 
) 

    num_a num_b name_a name_b 
0  1  2  a  b 
1  2  4  b  d 
2  3  1  c  a 
3  4  2  d  b 
4  5  3  5  c 

---

擊穿

replace與字典應該是相當快的。有很多方法可以建立一個字典表df_2。事實上，我們可以使用pd.Series。我選擇用dict和zip構建，因爲我發現它更快。

建築m

選項1

m = df_2.set_index('num').name 

選項2

m = df_2.set_index('num').name.to_dict() 

選項3

m = dict(zip(df_2.num, df_2.name)) 

選項4（我的選擇）

m = dict(zip(df_2.num.values.tolist(), df_2.name.values.tolist())) 

m生成時間

1000 loops, best of 3: 325 µs per loop 
1000 loops, best of 3: 376 µs per loop 
10000 loops, best of 3: 32.9 µs per loop 
100000 loops, best of 3: 10.4 µs per loop 

%timeit df_2.set_index('num').name 
%timeit df_2.set_index('num').name.to_dict() 
%timeit dict(zip(df_2.num, df_2.name)) 
%timeit dict(zip(df_2.num.values.tolist(), df_2.name.values.tolist())) 

---

更換num

再次，我們有選擇，這裏有一些和他們的時代。

%timeit df_1.replace(m) 
%timeit df_1.applymap(lambda x: m.get(x, x)) 
%timeit df_1.stack().map(lambda x: m.get(x, x)).unstack() 

1000 loops, best of 3: 792 µs per loop 
1000 loops, best of 3: 959 µs per loop 
1000 loops, best of 3: 925 µs per loop 

我選擇...

df_1.replace(m) 

    num_a num_b 
0  a  b 
1  b  d 
2  c  a 
3  d  b 
4  5  c 

重命名列

df_1.replace(m).rename(columns=lambda x: x.replace('num', 'name')) 

    name_a name_b <-- note the column name change 
0  a  b 
1  b  d 
2  c  a 
3  d  b 
4  5  c 

加入

df_1.join(df_1.replace(m).rename(columns=lambda x: x.replace('num', 'name'))) 

    num_a num_b name_a name_b 
0  1  2  a  b 
1  2  4  b  d 
2  3  1  c  a 
3  4  2  d  b 
4  5  3  5  c 

Answer 2

只要試一下條件說明：

import pandas as pd 
import numpy as np 
df_1 = pd.DataFrame({'num_a':[1, 2, 3, 4, 5], 
        'num_b':[2, 4, 1, 2, 3]})  
df_2 = pd.DataFrame({'num':[1, 2, 3, 4, 5], 
        'name':['a', 'b', 'c', 'd', 'e']}) 
df_1["name_a"] = df_2["num_b"] 
df_1["name_b"] = np.array(df_1["name_a"][df_1["num_b"]-1]) 
print(df_1) 

    num_a num_b name_a name_b 
0  1  2  a  b 
1  2  4  b  d 
2  3  1  c  a 
3  4  2  d  b 
4  5  3  e  c