リッジ回帰分析は、多重共線性（独立変数が高度に相関している）のあるデータに使用される手法です。多重共線性の場合、最小二乗法（OLS）は各変数に対して公平ですが、それらの差が大きく、観測値が真の値から逸れることになります。リッジ回帰は、回帰推定にバイアスを加えることで、標準誤差を低減します。

上で、線形回帰方程式を見ました。覚えていますか？それは次のように表すことができます：

y = a + b * x

この方程式には、誤差項もあります。完全な方程式は次の通りです：

y = a + b * x + e  (誤差項),  
[誤差項は、観測値と予測値の間の予測誤差を修正するために必要な値です]

=>  y = a + y =  a +  b1x1 +  b2x2 + .... + e,  複数の独立変数の場合。

線形方程式では、予測誤差は2つのサブコンポーネントに分解できます。1つはバイアス、もう1つは分散です。予測誤差は、これら2つのコンポーネントのいずれか、または両方によって引き起こされる可能性があります。ここでは、分散によって引き起こされる誤差について説明します。

リッジ回帰は、収縮パラメータλ（ラムダ）によって多重共線性の問題を解決します。次の式を見てください。

この式には、2つの構成要素があります。1つ目は最小二乗項、もう1つはβ2（βの2乗）のλ倍で、βは相関係数です。収縮パラメータを最小二乗項に追加して、非常に低い分散を得ます。

要点：

• 定数項を除いて、この回帰の仮定は最小二乗回帰と似ています。

• 相関係数の値を収縮させますが、ゼロにはなりません。これは、特徴選択機能がないことを示しています。

• これは正則化手法であり、L2正則化を使用しています。