ROC可以比較兩組功能的分類能力嗎？

Question

我正在學習SVM和ROC。據我所知，人們通常可以使用ROC（receiver operating characteristic）曲線來顯示SVM（支持向量機）的分類能力。我想知道是否可以使用相同的概念來比較兩個功能子集。

假設我有兩個子集的特徵子集A和子集B.他們是從兩個不同的特徵提取方法A和B從相同的列車數據中選擇的。如果我使用這兩個特徵子集來訓練相同的SVM通過使用LIBSVM svmtrain（）函數並繪製兩者的ROC曲線，我可以通過它們的AUC值比較它們的分類能力嗎？因此，如果我的子集A的AUC值高於subsetB，我可以得出結論：方法A比方法B更好？它有任何意義嗎？

非常感謝，

Answer 1

是的，你是在正確的軌道上。但是，您需要記住一些事項。

1. 通常使用具有適當縮放/規範化的兩個特徵A和B可以提供比單獨特徵更好的性能。所以你可能會考慮同時使用特徵A和B的可能性。
2. 當使用特徵A和B訓練SVM時，應該分別對它們進行優化，即將使用特徵A獲得的最佳性能與使用特徵B獲得的最佳性能進行比較。通常，特徵A和B可能在不同的內核中提供最佳性能和參數設置。
3. 除了AUC之外，還有其他一些指標，如F1-score，Mean Average Precision(MAP)，可以在您評估測試數據後根據您考慮的應用程序進行計算，它們可能更合適。