scikit-learn GridSearchCV具有多個重複

Question

我試圖獲得SVR模型的最佳參數集。 我想使用GridSearchCV而不是C的不同值。然而，從之前的測試中我注意到，訓練/測試集合higlhy影響整體性能（本例中爲r2）。 爲了解決這個問題，我想實施重複的5倍交叉驗證（10 x 5CV）。是否有內置的方式使用GridSearchCV執行它？

快速的解決方案：

NUM_TRIALS = 10 
scores = [] 
for i in range(NUM_TRIALS): 
    cv = KFold(n_splits=5, shuffle=True, random_state=i) 
    clf = GridSearchCV(estimator=svr, param_grid=p_grid, cv=cv) 
    scores.append(clf.best_score_) 
print "Average Score: {0} STD: {1}".format(numpy.mean(scores), numpy.std(scores)) 

Answer 1

這被稱爲嵌套cross_validation：

繼在科幻試劑盒offical documentation提出的想法，一個快速的解決方案由下式表示。你可以看official documentation example引導你進入正確的方向，也可以看看我的other answer here類似的方法。

您可以調整的步驟，以滿足您的需要：

svr = SVC(kernel="rbf") 
c_grid = {"C": [1, 10, 100, ... ]} 

# CV Technique "LabelKFold", "LeaveOneOut", "LeaveOneLabelOut", etc. 

# To be used within GridSearch (5 in your case) 
inner_cv = KFold(n_splits=5, shuffle=True, random_state=i) 

# To be used in outer CV (you asked for 10) 
outer_cv = KFold(n_splits=10, shuffle=True, random_state=i) 

# Non_nested parameter search and scoring 
clf = GridSearchCV(estimator=svr, param_grid=c_grid, cv=inner_cv) 
clf.fit(X_iris, y_iris) 
non_nested_score = clf.best_score_ 

# Pass the gridSearch estimator to cross_val_score 
# This will be your required 10 x 5 cvs 
# 10 for outer cv and 5 for gridSearch's internal CV 
clf = GridSearchCV(estimator=svr, param_grid=c_grid, cv=inner_cv) 
nested_score = cross_val_score(clf, X=X_iris, y=y_iris, cv=outer_cv).mean() 

編輯 - 嵌套的交叉驗證與cross_val_score()和GridSearchCV()說明

1. CLF = GridSearchCV（估計，param_grid，CV = inner_cv）。
2. 通行證clf, X, y, outer_cv到cross_val_score
3. 作爲source code of cross_val_score看到，這X將使用outer_cv分爲X_outer_train, X_outer_test。 y一樣。
4. X_outer_test將被阻止，並且X_outer_train將傳遞到clf for fit（）（在我們的例子中爲GridSearchCV）。 假設X_outer_train從這裏開始被稱爲X_inner，因爲它被傳遞給內部估計器，假設y_outer_train是y_inner。
5. X_inner現在將在GridSearchCV中使用inner_cv拆分爲X_inner_train和X_inner_test。 y相同
6. 現在，將使用X_inner_train和y_train_inner對網格搜索估算器進行訓練，並使用X_inner_test和y_inner_test對其進行評分。
7. 步驟5和6對於inner_cv_iters（在這種情況下爲5）將重複。
8. 將所有迭代的平均分數最好的參數傳遞到clf.best_estimator_並適用於所有數據，即X_train。
9. 然後使用X_outer_test和y_outer_test對clf（gridsearch.best_estimator_）進行評分。
10. 的步驟3到9會反覆爲outer_cv_iters（10此處）和分數的數組將從cross_val_score
11. 返回然後，我們使用均值（）找回nested_score。

Answer 2

您可以向GridSearchCV提供不同的交叉驗證生成器。二進制或多類分類問題的缺省值爲StratifiedKFold。否則，它使用KFold。但你可以提供你自己的。在你的情況下，它看起來像你想要RepeatedKFold或RepeatedStratifiedKFold。

from sklearn.model_selection import GridSearchCV, RepeatedStratifiedKFold 

# Define svr here 
... 

# Specify cross-validation generator, in this case (10 x 5CV) 
cv = RepeatedKFold(n_splits=5, n_repeats=10) 
clf = GridSearchCV(estimator=svr, param_grid=p_grid, cv=cv) 

# Continue as usual 
clf.fit(...)