熊貓的get_dummies與Sklearn的OneHotEncoder（）::什麼更有效率？

Question

我正在學習將機器學習分類器的分類變量轉換爲數字的不同方法。我遇到了pd.get_dummies方法和sklearn.preprocessing.OneHotEncoder()，我想看看它們在性能和使用方面的差異。

我在https://xgdgsc.wordpress.com/2015/03/20/note-on-using-onehotencoder-in-scikit-learn-to-work-on-categorical-features/上找到了關於如何使用OneHotEnocder()的教程，因爲sklearn文檔對此功能不太有幫助。我有一種感覺，我沒有正確地做...但

可以解釋一下使用pd.dummies而不是sklearn.preprocessing.OneHotEncoder()，反之亦然？我知道OneHotEncoder()爲您提供了一個稀疏矩陣，但除此之外，我不確定它是如何使用的以及與pandas方法相比的好處。我是否使用效率低下？

import pandas as pd 
import numpy as np 
from sklearn.datasets import load_iris 
sns.set() 

%matplotlib inline 

#Iris Plot 
iris = load_iris() 
n_samples, m_features = iris.data.shape 

#Load Data 
X, y = iris.data, iris.target 
D_target_dummy = dict(zip(np.arange(iris.target_names.shape[0]), iris.target_names)) 

DF_data = pd.DataFrame(X,columns=iris.feature_names) 
DF_data["target"] = pd.Series(y).map(D_target_dummy) 
#sepal length (cm) sepal width (cm) petal length (cm) petal width (cm) \ 
#0     5.1    3.5    1.4    0.2 
#1     4.9    3.0    1.4    0.2 
#2     4.7    3.2    1.3    0.2 
#3     4.6    3.1    1.5    0.2 
#4     5.0    3.6    1.4    0.2 
#5     5.4    3.9    1.7    0.4 

DF_dummies = pd.get_dummies(DF_data["target"]) 
#setosa versicolor virginica 
#0   1   0   0 
#1   1   0   0 
#2   1   0   0 
#3   1   0   0 
#4   1   0   0 
#5   1   0   0 

from sklearn.preprocessing import OneHotEncoder, LabelEncoder 
def f1(DF_data): 
    Enc_ohe, Enc_label = OneHotEncoder(), LabelEncoder() 
    DF_data["Dummies"] = Enc_label.fit_transform(DF_data["target"]) 
    DF_dummies2 = pd.DataFrame(Enc_ohe.fit_transform(DF_data[["Dummies"]]).todense(), columns = Enc_label.classes_) 
    return(DF_dummies2) 

%timeit pd.get_dummies(DF_data["target"]) 
#1000 loops, best of 3: 777 µs per loop 

%timeit f1(DF_data) 
#100 loops, best of 3: 2.91 ms per loop 

Answer 1

OneHotEncoder不能直接處理，字符串值。如果您的名義特徵是字符串，那麼您需要先將它們映射爲整數。

pandas.get_dummies是相反的一種。默認情況下，除非指定了列，否則它僅將字符串列轉換爲單熱表示形式。