分類器超參數之間的相關

Question

我在想兩個不同分類器的超參數是否存在某種相關性。

例如：讓我們說，我們與最佳超參數（通過GridSearch找到）數據集運行LogisticRegression，並希望對同一數據集運行另一個分類像SVC（SVM分類），而不是使用GridSearch找到所有的超參數，我們是否可以修復一些超參數的值（或減少範圍來限制GridSearch的搜索空間）？

作爲一個實驗，我用scikit-learn的分類像LogisticRegression，SVS，LinearSVC，SGDClassifier和Perceptron到classifiy一些衆所周知的數據集。在某些情況下，我可以憑經驗看到一些相關性，但並非總是適用於所有數據集。

所以請幫我清楚這一點。

Answer 1

我不認爲你可以像這樣將不同分類器的不同參數關聯在一起。這主要是因爲每個分類器的行爲不同，因爲它具有根據自己的方程組調整數據的方法。例如，採用SVC與兩個不同的內核rbf和sigmoid。可能是rbf可能完全符合intercept parameter C設置爲0.001的數據，而「sigmoid kernel over the same data may fit with C」值爲0.00001。這兩個值也可能相等。但是，你絕對不能這麼說。當你這樣說：

在某些情況下，我能夠看到經驗上的一些相關性，但並不總是對所有數據集。

這可能只是一個巧合。因爲這一切都取決於分類器。您不能將它globally.Correlation並不總是等於因果關係

您可以訪問this site，看看自己，雖然不同的迴歸函數具有相同的參數a，他們的公式有很大的不同，因此，因此可能大幅同一數據集不同的值a。