ひよこ統計

偏回帰係数

統計検定2級

説明変数を2つ以上使う回帰では、係数が変数の数だけ並びます。この b1,b2,… b_1, b_2, \dots のひとつひとつが偏回帰係数です。読み方には「偏」の字のとおり条件が付いていて、ほかの説明変数の値をすべて一定に保ったまま、その変数だけを1増やしたときの予測値の変化量を表します。重回帰モデル の係数は、この約束のもとで読みます。

y^=a+b1x1+b2x2\hat{y} = a + b_1 x_1 + b_2 x_2
b1 b_1 :x2 x_2 を一定に保ったまま x1 x_1 を1増やしたときの y^ \hat{y} の変化量、b2 b_2 :x1 x_1 を一定に保ったまま x2 x_2 を1増やしたときの y^ \hat{y} の変化量、a a :切片(説明変数がすべて 0 のときの y^ \hat{y} )

「一定に保つ」とは、比べる2件で残りの説明変数の値をそろえる、ということです。x2 x_2 が y y に関係し、x1 x_1 と一緒に動く場合、x1 x_1 だけで単回帰を当てはめた傾きは偏回帰係数と別の値になり得ます。単回帰の傾き(回帰係数)に、x2 x_2 との関連が混ざるためです。x1 x_1 と x2 x_2 が無相関である場合など、両方の係数が一致することもあります。

偏回帰係数には単位が付きます。b1 b_1 の単位は y y の単位を x1 x_1 の単位で割った形になるので、x1 x_1 を個数、x2 x_2 を年数で測っていれば、2つの係数は物差しからして別のものです。数値の大小をそのまま比べて「こちらの変数のほうが重要だ」と言うことはできません。符号のほうは向きを表し、負であれば、ほかをそろえたときに y y が減る方向に予測されるという読みになります。

名前の近い 偏相関係数 とは別の量です。偏相関係数はほかの変数を取り除いたあとの結びつきの強さを −1 から 1 の単位のない値で表しますが、偏回帰係数が表すのは単位の付いた変化量です。また、説明変数どうしが強く相関していると個々の係数は不安定になり、値をそのまま読み取れなくなります(多重共線性)。

偏回帰係数は、その変数だけを見て決まる数値ではありません。同じ説明変数の係数でも、次のことが変われば値が変わることがあります。

単回帰の傾きと偏回帰係数を同じデータで比べる

部品が1個増えると、小物の組み立てにかかる時間はどれだけ延びるでしょうか。ある工房の4件の記録から、この量を2通りのやり方で求めて見比べます。記録してあるのは、組み立て時間 y y (分)・使った部品の数 x1 x_1 (個)・担当者の経験年数 x2 x_2 (年)の3つです。

1件目2件目3件目4件目
部品の数(個)2468
経験年数(年)1133
組み立て時間(分)612814

まず、部品の数だけを使って単回帰の傾きを求めます。平均は xˉ1=5 \bar{x}_1 = 5 個、yˉ=10 \bar{y} = 10 分なので、部品の数の偏差は −3, −1, 1, 3 -3,\ -1,\ 1,\ 3 、時間の偏差は −4, 2, −2, 4 -4,\ 2,\ -2,\ 4 です。偏差の積の合計は 12−2−2+12=20 12-2-2+12 = 20 、部品の数の偏差の2乗の合計は 9+1+1+9=20 9+1+1+9 = 20 ですから、傾きは 20÷20=1 20 \div 20 = 1 になります。部品が1個増えるごとに1分、と読める値です。

ところが表を横に見ると、経験年数の長い担当者ほど部品の多い製品を任されています。経験1年の担当が受け持ったのは部品 2 個と 4 個、経験3年の担当は 6 個と 8 個の製品でした。そこで、経験年数がそろっている2件どうしで比べ直します。

経験1年の2件は部品が 2 個多いほうが 6 分長くかかり、経験3年の2件も同じく 2 個多いほうが 6 分長くかかっています。どちらの組でも1個あたり 6÷2=3 6 \div 2 = 3 分です。経験年数をそろえて測った変化量は、単回帰の傾き 1 ではなく 3 でした。

実際、この4件はすべて y^=5+3x1−5x2 \hat{y} = 5 + 3x_1 - 5x_2 にちょうど当てはまります。3件目なら 5+3×6−5×3=8 5 + 3 \times 6 - 5 \times 3 = 8 で、記録の 8 分と一致します。残差がすべて 0 ですから、これより残差平方和の小さい式はなく、これが 最小二乗法 の解です。偏回帰係数は 3 と −5 の2つということになります。ただし、4件が1つの式にちょうど乗るのは読み取りやすいように作った数値だからで、実際のデータでは点が式から外れ、残差を残したまま残差平方和がいちばん小さくなる係数を選ぶことになります。

単回帰の傾きが 1 と小さく出たのは、部品が増える場面ほど経験年数も長く、時間を縮める側の変化が混ざっていたためです。そして 3 と −5 の大小にも意味はありません。前者の単位は分÷個、後者は分÷年で、比べる土台が違います。経験を年ではなく月で測り直せば係数は12分の1の値になりますが、説明している内容は同じです。

入門問題

全 4 問
問 1

重回帰の式 y^=a+b1x1+b2x2 \hat{y} = a + b_1 x_1 + b_2 x_2 において、偏回帰係数 b1 b_1 が表すものとして最も適切なものはどれですか。

問 2

ある製品の組み立て時間 y y (分)を、部品の数 x1 x_1 (個)と担当者の経験年数 x2 x_2 (年)で説明したところ、y^=5+3x1−5x2 \hat{y} = 5 + 3x_1 - 5x_2 という式が得られました。この式の読み取りとして正しいものはどれですか。

問 3

同じデータについて、部品の数だけを説明変数にした単回帰の傾きは 1、部品の数と経験年数を説明変数にした重回帰の偏回帰係数は 3 でした。この2つの値が違う理由として最も適切なものはどれですか。

問 4

組み立て時間(分)を、部品の数(個)と経験年数(年)で説明したところ、部品の数の係数が 3、経験年数の係数が −5 になりました。この2つの数値の大小について、正しいものはどれですか。