ひよこ統計

最小二乗法

統計検定3級統計検定2級

散布図 の点がおおよそ右上がりに並んでいるとき、そこに直線を1本引くとしたら、どこを通せばよいでしょうか。定規の当て方しだいで直線は何本でも引けてしまいます。そこで、直線から各点までのずれを測り、そのずれの2乗の合計がいちばん小さくなる直線を選ぶことにします。この決め方が最小二乗法、こうして当てはめた直線が回帰直線です。

ずれの測り方には約束があります。当てはめる直線は x x から y y を言い当てるためのものなので、外れの大きさは縦方向で測ります。実際の値 yi y_i と直線上の値 y^i \hat{y}_i との差を残差といい、点から直線へ下ろした垂線の長さではありません。残差をそのまま足すと正と負が打ち消し合ってしまうため、2乗してから合計します。2乗すれば符号が消え、大きく外れた点ほど重く数えられます。この合計 ∑i=1n(yi−y^i)2 \sum_{i=1}^{n}\left(y_i - \hat{y}_i\right)^2 を残差平方和といいます。x x がすべて同じではなく sx2>0 s_x^2>0 のとき、これを最小にする傾きと切片が次の形に一意に定まります。

b=sxysx2,a=yˉ−bxˉb = \frac{s_{xy}}{s_x^2}, \qquad a = \bar{y} - b\bar{x}
b b ：当てはめる直線 y^=a+bx \hat{y} = a + bx の傾き、a a ：その切片、sxy s_{xy} ：2つの変数の共分散、sx2 s_x^2 ：x x の分散、xˉ, yˉ \bar{x},\ \bar{y} ：それぞれの平均

傾きは 共分散 を x x の 分散 で割った値です。切片の式を移し替えると yˉ=a+bxˉ \bar{y} = a + b\bar{x} となり、x x に平均 xˉ \bar{x} を入れたときの直線の高さがちょうど yˉ \bar{y} だと分かります。つまり回帰直線は、点がどう散らばっていても必ず2つの平均の組 (xˉ, yˉ) (\bar{x},\ \bar{y}) を通ります。データ全体の釣り合いの中心にあたるこの点を重心といいます。次の図は、6人分のデータに回帰直線を当てはめたものです。

6人の練習した日数とシュートの本数の散布図。点は (0,2)、(1,1)、(1,4)、(3,8)、(3,5)、(4,10) の6つで、直線 y = 1 + 2x が引かれている。各点から直線まで縦向きの破線が下ろされ、直線に対する垂線にはなっていない。平均の組 (2, 5) の位置に星印があり、直線がその上を通っている。
縦の破線が残差。直線は重心 (2, 5) を通る

図の破線を見ると、直線より上にある点と下にある点が入り混じっており、直線がどれか1点に肩入れしていないことが分かります。傾き b b と切片 a a がそれぞれ何を表すかは 回帰係数 で扱います。まとめると、回帰直線は次の3つを必ず満たします。

図の6人のデータから傾きと切片を求める

図に描いた6人について、練習した日数 x x と決めたシュートの本数 y y を並べ、傾きと切片を実際に計算します。平均は xˉ=2 \bar{x} = 2 日、yˉ=5 \bar{y} = 5 本です。

AさんBさんCさんDさんEさんFさん
練習した日数（日）011334
シュート（本）2148510
日数の偏差−2−1−1112
本数の偏差−3−4−1305
偏差の積6413010
日数の偏差の2乗411114

偏差の積の合計は 6+4+1+3+0+10=24 6+4+1+3+0+10 = 24 なので共分散は 24÷6=4 24 \div 6 = 4 、日数の偏差の2乗の合計は 4+1+1+1+1+4=12 4+1+1+1+1+4 = 12 なので分散は 12÷6=2 12 \div 6 = 2 です。したがって傾きは b=4÷2=2 b = 4 \div 2 = 2 、切片は a=5−2×2=1 a = 5 - 2 \times 2 = 1 で、当てはめる直線は y^=1+2x \hat{y} = 1 + 2x と決まります。

この直線での残差を確かめます。各点での直線の値 y^ \hat{y} は 1, 3, 3, 7, 7, 9 1,\ 3,\ 3,\ 7,\ 7,\ 9 なので、残差は 1, −2, 1, 1, −2, 1 1,\ -2,\ 1,\ 1,\ -2,\ 1 です。合計は 0 で、残差平方和は 1+4+1+1+4+1=12 1+4+1+1+4+1 = 12 になります。

本当にこれが最小なのか、別の直線と比べてみます。同じ重心を通る傾き 1 の直線 y^=3+x \hat{y} = 3 + x では、直線の値が 3, 4, 4, 6, 6, 7 3,\ 4,\ 4,\ 6,\ 6,\ 7 、残差は −1, −3, 0, 2, −1, 3 -1,\ -3,\ 0,\ 2,\ -1,\ 3 で、残差平方和は 1+9+0+4+1+9=24 1+9+0+4+1+9 = 24 に増えました。重心を通しただけでは足りません。傾きを sxy÷sx2 s_{xy} \div s_x^2 に合わせてはじめて、残差平方和がいちばん小さい直線になります。

入門問題

全 3 問
問 1

最小二乗法で散布図に直線を当てはめるとき、最小になるように直線を選ぶ量として正しいものはどれですか。

問 2

最小二乗法で求めた回帰直線が、データによらず必ず満たす性質はどれですか。

問 3

あるデータで xˉ=3 \bar{x} = 3 、yˉ=8 \bar{y} = 8 、x x の分散が 3、x x と y y の共分散が 6 でした。最小二乗法で求めた直線 y^=a+bx \hat{y} = a + bx の a a と b b の組はどれですか。

実践問題に挑戦 →