それは最もよく知られたモデリング技術の一つです。線形回帰は通常、人々が予測モデルを学ぶ際に最初に選ぶ技術の一つです。この技術では、従属変数は連続的で、独立変数は連続的でも離散的でもよく、回帰直線の性質は線形です。

線形回帰は、最適なフィッティング直線（つまり回帰直線）を使用して、従属変数（Y）と1つまたは複数の独立変数（X）の間に関係を構築します。

それを方程式で表すと、Y = a + b * X + e となります。ここで、aは切片を表し、bは直線の傾きを表し、eは誤差項です。この方程式は、与えられた予測変数（群）に基づいて目標変数の値を予測することができます。

一元線形回帰と多元線形回帰の違いは、多元線形回帰には（＞1）個の独立変数があり、一元線形回帰には通常1つの独立変数しかないことです。現在の問題は「私たちはどのようにして最適なフィッティング直線を得るのでしょうか？」です。

最適なフィッティング直線（aとbの値）をどのように得るか？

この問題は最小二乗法を使用することで簡単に解決できます。最小二乗法は、回帰直線をフィッティングするために最も一般的に使用される方法でもあります。観測データに対して、各データ点から直線までの垂直偏差の平方和を最小化することで最適なフィッティング直線を計算します。相加する際に偏差が先に平方されるため、正の値と負の値が相殺されることはありません。

私たちはR-square指標を使用してモデルの性能を評価することができます。これらの指標の詳細を知りたい場合は、「モデル性能指標Part 1,Part 2」を読んでください。

要点：

• 独立変数と従属変数の間には線形関係がなければなりません。

• 多元回帰には多重共線性、自己相関性、および異分散性が存在します。

• 線形回帰は外れ値に非常に敏感です。それは回帰直線に深刻な影響を与え、最終的に予測値に影響を与えます。

• 多重共線性は係数の推定値の分散を増加させ、モデルがわずかに変化した場合でも推定値が非常に敏感になります。結果として、係数の推定値が不安定になります。

• 複数の独立変数がある場合、私たちは前進選択法、後退削除法、および段階的選択法を使用して最も重要な独立変数を選択することができます。