迴歸中的截距和係數

Question

迴歸模型we don't penalize the intercept (Lasso and Ride)爲什麼這樣呢？什麼攔截重要性。

爲什麼Over fitting model趨於具有較大系數？

Answer 1

Ridge和LASSO分別相當於使用L1和L2正則化。正則化有助於減少方差並避免過度擬合。所以，你的問題相當於問，懲罰攔截是否有助於規範模型並避免高方差？懲罰攔截會導致它阻止變化，並將其保留在默認位置（可能爲零或一些小的隨機初始化值）。然而，沒有理由認爲這種隨機初始化有任何意義。其他係數的正則化爲模型增加了剛度，使得概念不那麼靈活，並且導致較少的曲折（較低的方差）。然而，將正則化應用於截距，只是拖動線條穿過y軸的點，移動幾何體沒有特別的好處。或者至少我是這樣想象的。希望有所幫助。