如何在使用Pandas數據框時避免（）：循環緩慢？

Question

for i in range(1, len(df)): 
    if df.loc[i]["identification"] == df.loc[i-1]["identification"] and df.loc[i]["date"] == df.loc[i-1]["date"]: 
     df.loc[i,"duplicate"] = 1 
    else: 
     df.loc[i,"duplicate"] = 0 

當處理大尺寸的數據幀時，這種循環運行非常簡單。

有什麼建議嗎？

Answer 1

嘗試使用量化的方法，而不是循環的：

df['duplicate'] = np.where((df.identification == df.identification.shift()) 
          & 
          (df.date == df.date.shift()), 
          1,0) 

Answer 2

看起來你只是檢查，如果值是重複的。在這種情況下，您可以使用

df.sort_values(by=['identification', 'date'], inplace=True) 
df['duplicate'] = df.duplicated(subset=['identification', 'date']).astype(int)