跨欄模型的驗證？

Question

我構建了一個跨欄模型，然後使用該模型使用預測命令從已知數據點到未知數據點進行預測。有沒有方法來驗證模型和這些預測？我是否必須分兩部分來完成這個工作，例如對模型的二項式部分使用靈敏度和特異性？ 有關如何評估此模型有效性的其他想法？

Answer 1

對於驗證預測模型，我通常相信Cross-Validation。

簡而言之：通過交叉驗證，您可以僅使用訓練數據（具有已知結果的數據）來測量模型的預測性能。因此，您可以就您的模型如何工作獲得一般意見。交叉驗證適用於各種不同的模型。缺點是它可能會導致相當大的計算量。

對於大數據集，10倍交叉驗證就足夠了。你的數據集越小，你必須做的「摺疊」就越多（例如，對於非常小的數據集，你必須做一次性交叉驗證）

使用交叉驗證，你可以得到整體預測數據集。然後，您可以將這些預測與實際產出進行比較，並測量模型的表現。

交叉驗證的結果在更復雜的比較中可能需要一點理解，但對於您的通用問題「如何評估模型的有效性」，結果應該很容易使用。