爲什麼我們要將機器學習模型的成本函數中的誤差平方？

Question

如果我們不計算成本函數的誤差會發生什麼？

例如，在邏輯迴歸中，我們計算成本函數。

Answer 1

我對邏輯迴歸不太熟悉，因爲我更像是一個深入學習的人，但我會對你的問題採取一些措施。首先，我們需要指定一些東西。你在說什麼成本函數，以及你使用哪種機器學習模型？在機器學習的每個學科中，根據問題有很多合適的誤差函數，它們可以是平方的也可以是不平方的。

你提到了logistic迴歸中的平方值......但是使用平方和與MLE模型有很多優點和缺點，討論了here。有關另一主題的示例，存在平方值（MSE）以及不包含（Cross Entropy）的神經網絡成本函數。 無論如何，有一些常見的主題描述何時適合在成本函數中平方值。作爲一個（非常）一般的規則，你想要在變量連續並且有一個可定義的距離度量時對它們進行平方。

比方說，我試圖預測數字上的點。如果我預測的值爲y_predicted，並將它們與y_true進行比較，那麼我確切知道我在這個1D距離方面有多遠。這是一個連續的錯誤度量，這意味着我不想通過離散化來丟失信息。此外，在那裏放置一個正方形意味着我避免處理可能在求和期間相互抵消的正值和負值。最後，平方值強調異常值，同時略微忽略較小的錯誤，這在某些情況下會有所幫助。長話短說，這取決於你的問題的範圍。希望有一個更簡單的解決方案，但這就是它的方式。