技術(非IT系)

回帰直線の公式は?導き方や意味も解説!(最小二乗法:切片:直線の式:数学的背景など)

回帰直線の公式と基本的な意味
当サイトでは記事内に広告を含みます

回帰直線は、二つの数値データに見られる関係を一本の直線で表すための重要な考え方です。

統計学だけでなく、売上予測、品質管理、実験結果の分析、機械学習の基礎など、幅広い場面で活用されています。

公式だけを暗記すると計算の意味が見えにくくなりますが、最小二乗法の考え方からたどると、傾きや切片がなぜその形になるのか理解しやすくなります。

この記事では、回帰直線の直線の式、公式の導き方、相関係数との違い、計算例、利用時の注意点まで順番に確認していきます。

回帰直線の公式と基本的な意味

回帰直線の公式と基本的な意味

それではまず、回帰直線の公式と基本的な意味について解説していきます。

回帰直線が表す二つの変数の関係

回帰直線とは、説明変数を x、目的変数を y としたときに、データ全体の傾向を最もよく表す直線です。

一般的には、y=ax+bという一次関数の形で表します。

a は傾き、b は切片です。

傾きは x が一単位増えたときに y が平均的にどの程度変化するかを示し、切片は x が 0 のときに予測される y の値を表します。

例えば、学習時間が長いほどテスト得点が上がる傾向にある場合、学習時間を x、得点を y として回帰直線を求められます。

ただし、回帰直線はすべての点を通る線ではありません。

実際のデータには個人差、測定誤差、偶然の変動などが含まれるため、点は直線の周囲にばらつきます。

最小二乗法による公式

回帰直線を求める代表的な方法が最小二乗法です。

最小二乗法では、各データ点と回帰直線との縦方向の差である残差を考え、その二乗和が最も小さくなる直線を採用します。

回帰直線の式は y=ax+b です。

傾き a=Σ{xi-xの平均}{yi-yの平均}÷Σ{xi-xの平均}の二乗

切片 b=yの平均-a×xの平均

Σ は、各データについて計算した値をすべて足し合わせる記号です。

この公式では、x と y が同時に平均から離れる傾向を使って傾きを決めます。

両方が同じ方向へ動くなら傾きは正になり、一方が増えると他方が減るなら負になります。

傾きと切片の読み取り方

傾き a の符号を見ると、二つの変数の関係の方向を大まかに把握できます。

傾きの状態 回帰直線の動き 読み取り方
正の値 右上がり x の増加に伴い y も増える傾向
負の値 右下がり x の増加に伴い y は減る傾向
0 に近い値 ほぼ水平 直線的な関係が弱い可能性
絶対値が大きい値 急な直線 x 一単位当たりの変化量が大きい状態

切片 b は x=0 における推定値ですが、x=0 が実際には起こらない範囲なら、数値の解釈には注意が必要です。

たとえば年齢を説明変数にした分析で、対象者が二十歳から六十歳だけであれば、年齢 0 の予測値に現実的な意味はほとんどありません。

回帰直線は傾向を示す道具であり、個々の結果を確定する式ではないと押さえておくことが大切です。

最小二乗法による導き方

続いては、最小二乗法によって公式が導かれる流れを確認していきます。

残差と二乗和の考え方

n 個のデータがあり、i 番目のデータを xi、yi とします。

回帰直線 y=ax+b で xi に対応する予測値は axi+b です。

実測値 yi と予測値 axi+b の差は、yi-axi-b となります。

この差を残差と呼びます。

残差をそのまま足すと、正の差と負の差が打ち消し合ってしまいます。

そこで、すべての残差を二乗してから合計します。

残差二乗和 S=Σ{yi-axi-b}の二乗

最小二乗法では、この S が最小になる a と b を探します。

二乗を使うと符号が消えるだけでなく、大きく外れた点の影響がより大きくなります。

そのため、回帰直線は全体のばらつきを小さくするように位置と傾きを調整する仕組みです。

偏微分から得られる連立方程式

残差二乗和 S は、傾き a と切片 b によって変わる関数です。

最小値を求めるため、a と b でそれぞれ微分し、その結果を 0 と置きます。

計算すると、Σxi yi=aΣxiの二乗+bΣxi、Σyi=aΣxi+nb という二つの式が得られます。

この二つは正規方程式と呼ばれます。

連立方程式を解くことで、傾きと切片が定まります。

途中の式変形は長く見えますが、重要なのは、残差二乗和が最小になる条件を数式にした結果が回帰直線の公式だという点です。

単なる便宜的な計算方法ではなく、誤差を最も小さく抑える数学的な根拠があります。

平均との差を使う形への整理

実務や学習では、正規方程式を直接解くよりも、平均との差を使う公式のほうが扱いやすい場面が多いでしょう。

x の平均を xの平均、y の平均を yの平均とすると、傾きは x と y の偏差の積の合計を、x の偏差平方和で割った形になります。

傾きは、x のばらつきの中で y がどのように連動したかを表す値です。

分子は二変数の連動の強さ、分母は x 自体のばらつきに対応します。

また、切片を b=yの平均-a×xの平均と表せるため、回帰直線は必ず平均点、つまり xの平均と yの平均を通ります。

これは計算の確認にも使える重要な性質です。

求めた直線が平均点を通っていない場合は、途中の入力や計算に誤りがないか見直す必要があります。

傾きと切片の計算方法

続いては、傾きと切片を実際に計算する方法を確認していきます。

小さなデータによる計算例

学習時間 x とテスト得点 y のデータが三組あるとします。

番号 学習時間 x 得点 y
1 55
2 65
3 70

x の平均は 2、y の平均は約 63.3 です。

x の偏差はそれぞれ-1、0、1 となります。

y の偏差は約-8.3、1.7、6.7 です。

偏差の積の合計は 15、x の偏差の二乗和は 2 になるため、傾きは 7.5 です。

切片は 63.3-7.5×2 となり、約 48.3 と求められます。

したがって、このデータに対する回帰直線は、おおよそ y=7.5x+48.3 です。

公式に代入するときの手順

計算ミスを避けるには、作業をいくつかの段階に分けるとよいでしょう。

まず x と y の平均を求め、次に各データの偏差を一覧にします。

続いて、偏差の積と x の偏差の二乗を各行で計算し、それぞれを合計します。

最後に傾き、切片の順番で公式へ代入します。

計算の順序は、平均を求める、偏差を求める、積と二乗を合計する、傾きを出す、切片を出す、という流れです。

表計算ソフトを使う場合でも、この流れを理解しておくと結果の妥当性を判断しやすくなります。

切片を先に求めようとせず、傾きを確定してから平均値を使うと整理しやすくなります。

データ数が多い場合は、途中の小数を早く丸めすぎないことも重要です。

単位と予測範囲の確認

傾きには、y の単位を x の単位で割った単位が伴います。

たとえば x が時間、y が売上額なら、傾きは一時間当たりの売上額の変化として読めます。

単位を確認すると、数式の解釈が急に現実的になります。

一方で、得られた回帰直線をデータの範囲から大きく外れて使うことは避けるべきです。

観測した学習時間が一時間から三時間だけなのに、十時間の得点を予測する行為は外挿と呼ばれます。

外挿では直線関係が維持される保証が弱く、現実には頭打ちや別の条件が現れる可能性があります。

回帰直線による予測は、観測済みデータの範囲内で使うほど信頼しやすくなります。

範囲外の予測値は参考情報として扱い、断定的な判断に使わない姿勢が必要です。

相関係数と決定係数の関係

続いては、回帰直線と相関係数、決定係数の関係を確認していきます。

相関係数が示す直線的な関係

相関係数は、二つの変数にどの程度の直線的な関係があるかを-1 から 1 の範囲で表す指標です。

正の相関なら x の増加と y の増加が対応し、負の相関なら逆方向に動く傾向があります。

相関係数が 0 に近い場合、直線的な関係は弱いと考えられます。

ただし、相関係数は傾きそのものではありません。

データの単位を変更しても相関係数は変わりませんが、傾きは単位の取り方によって変化します。

例えば、身長をセンチメートルで測るかメートルで測るかによって、傾きの数値は変わります。

相関係数は関係の強さ、傾きは変化量の大きさを示すものとして区別しましょう。

傾きと相関係数の数式上のつながり

x の標準偏差を sx、y の標準偏差を sy、相関係数を r とすると、傾きは r×sy÷sx と表せます。

この式から、相関が強いほど傾きの絶対値が大きくなりやすいことが分かります。

ただし、sy と sx の比も含まれるため、相関係数だけで傾きの大きさを決めることはできません。

指標 主な役割 値の特徴
傾き x の変化に対する y の変化量 単位の影響を受ける
切片 x が 0 のときの推定値 範囲外では解釈に注意
相関係数 直線的な関係の方向と強さ -1 から 1 の範囲
決定係数 モデルが説明する割合 単回帰では r の二乗

式の背景を理解すると、回帰分析の出力を表面的な数値だけで判断しにくくなります。

決定係数による当てはまりの判断

決定係数は通常 R の二乗と表され、回帰直線が y のばらつきをどの程度説明できているかを見る指標です。

単回帰では、決定係数は相関係数を二乗した値になります。

例えば、相関係数が 0.8 なら決定係数は 0.64 です。

この場合、y のばらつきのうち約 64 パーセントが、x との直線的な関係で説明されると解釈できます。

残りの部分には、別の要因、偶然の変動、測定誤差などが含まれます。

決定係数が高くても、因果関係が証明されるわけではありません。

第三の要因が x と y の両方に影響している可能性もあるため、背景事情とあわせて読む必要があります。

回帰直線を使う際の注意点

続いては、回帰直線を使う際に確認したい注意点を解説していきます。

相関と因果関係を混同しない姿勢

二つの変数に強い相関があっても、一方が他方の原因とは限りません。

暑い時期に冷たい飲み物の販売量と日焼け止めの販売量が同時に増える場合、片方の購入がもう片方の原因になるわけではありません。

気温や季節という共通の要因が影響していると考えるほうが自然でしょう。

回帰直線はデータ上の関係を要約するための手段です。

原因と結果を主張するには、実験計画、時系列の順序、対象条件の統制など、追加の検討が求められます。

予測に役立つ関係と、原因を示す関係は同じではありません

外れ値が与える影響

最小二乗法は残差を二乗するため、極端に離れた外れ値の影響を受けやすい特徴があります。

一つの入力ミスや特殊な事例によって、傾きが大きく変わることもあります。

散布図を作成し、データの分布を目で確かめる工程は欠かせません。

外れ値を見つけたからといって、すぐに削除するのは適切ではありません。

入力間違いなら修正の対象ですが、正しい観測値なら重要な現象を示している可能性があります。

外れた理由を確認し、削除前後で結果がどの程度変わるか比較すると、分析の透明性が高まります。

直線で表せない関係への対応

データが曲線状に分布している場合、一本の回帰直線では傾向を十分に表せないことがあります。

売上が広告費とともに増えても、ある水準を超えると伸びが鈍るような関係が一例です。

このような場合は、二次式などを使う多項式回帰、対数変換、区分ごとの分析などを検討します。

また、残差を横軸の値に沿って並べたとき、一定の模様が見えるなら直線モデルが合っていない可能性があります。

回帰直線を求める前に散布図を確認する習慣が、誤った解釈を防ぐ基本になります。

数式の計算が正しくても、モデルの選び方が状況に合わなければ、有用な結論にはつながりません。

回帰直線の公式のまとめ

回帰直線は、二つの数値データの関係を y=ax+b の形で表し、傾向の把握や予測に利用する方法です。

傾き a は、x の偏差と y の偏差の積の合計を、x の偏差の二乗和で割って求めます。

切片 b は、yの平均-a×xの平均で計算できます。

最小二乗法では、実測値と予測値の差である残差の二乗和が最も小さくなるように、直線の位置と傾きが決まります。

回帰直線は平均点を必ず通るため、計算結果を確認する際の目安にもなります。

相関係数は関係の方向と強さを示し、決定係数は回帰式が説明できる割合を見るための指標です。

ただし、相関があることは因果関係の証明ではなく、外れ値やデータ範囲外の予測にも注意が必要です。

散布図、残差、背景事情をあわせて確認すれば、回帰直線の公式を単なる計算としてではなく、現実のデータを読み解く道具として活用できるでしょう。