ダミー変数を用いた回帰

統計検定2級

初任給が最終学歴でどれだけ違うかを回帰で調べたいとします。ところが高校卒・高専短大卒・大学卒・大学院修士修了という4つの区分は、そのままでは式に入れられません。そこで、その学歴に当てはまれば 1、当てはまらなければ 0 という値をとるダミー変数を区分ごとに作り、説明変数として重回帰モデルに載せます。下の表は、厚生労働省「平成30年賃金構造基本統計調査」から4つの業種の学歴別平均初任給16件を取り、高校卒を除く3区分のダミー $C$ （高専短大卒）・ $U$ （大学卒）・ $G$ （大学院修士修了）で初任給を説明した推定結果です。

学歴ダミーによる重回帰の推定結果（初任給・万円／観測数16）
	回帰係数	標準誤差
切片	16.653	0.510
$C$ （高専短大卒）	2.255	0.721
$U$ （大学卒）	4.450	0.721
$G$ （大学院修士修了）	7.180	0.721

高校卒を基準カテゴリに選んだため、表に高校卒の行がありません。3つのダミーがそろって 0 になるのが高校卒で、その予測値は切片そのもの、16.653 万円になります。大学卒なら $U = 1$ ですから $16.653 + 4.450 = 21.103$ 万円です。つまり各ダミーの係数は、基準との差額を表しています。大学院修士修了と大学卒を比べたいときは、どちらも高校卒との差ですから、引き算すれば基準が消えて差額は $7.180 - 4.450 = 2.73$ 万円と見積もれます。右の列は係数の振れ幅を表す標準誤差で、各係数が 0 といえるかどうかの判断は回帰係数の検定に譲ります。ここまでを式の形にすると、切片に3本のダミーが並んだ次のモデルになります。

\hat{y} = a + b_1 C + b_2 U + b_3 G

C,\ U,\ G

：その学歴に当てはまれば 1、当てはまらなければ 0 をとるダミー変数、

a

：基準カテゴリ（高校卒）に当てはまる場合の予測値、

b_1,\ b_2,\ b_3

：各学歴と基準カテゴリとの差

表に高校卒の行がないことを、高校卒の初任給についてはこの結果から何も言えない、と読むのは早合点です。外れているのは係数を求めるために落とした1本のダミーで、高校卒の予測値は切片として表に出ています。なお、高校卒のダミー $H$ も加えて4本すべてを入れると、どの行でも $H + C + U + G = 1$ という関係が成り立ち、係数が一意に定まらなくなります（多重共線性）。

一般に質的変数は、区分の数より1つ少ない本数のダミーで表します。学歴は4区分なので3本、男女のように2区分なら1本です。どれを基準に選ぶかは分析者が決めてよく、大学卒に取り直せば切片は 21.103 万円、高校卒のダミーの係数は $16.653 - 21.103 = -4.450$ 万円に変わります。それでも観測ごとの予測値と残差、決定係数や自由度調整（修正）済み決定係数はそのままです。基準を取り替えると、差を測る起点だけが動きます。

各ダミーの係数は基準との差なので、基準以外どうしの差は係数の引き算で求める
基準を取り替えると切片と係数は動くが、予測値・残差・決定係数は動かない

配送ルートの違いを 0 と 1 に置き換えて係数を求める

ダミー変数の作り方と係数の求め方を、小さなデータで追ってみます。ある配送センターから同じ配送先へ向かう経路が3つあり、ルートA・B・Cを2回ずつ使って所要時間（時間）を記録しました。

	1回目	2回目	3回目	4回目	5回目	6回目
ルート	A	A	B	B	C	C
所要時間 $y$ （時間）	10	12	14	16	20	22

ルートの行にあるA・B・Cは経路の名前なので、足したり掛けたりできません。そこでルートAを基準に決め、ルートBに当てはまれば 1 をとる $D_B$ と、ルートCに当てはまれば 1 をとる $D_C$ の2本を作ります。割り当ては次のとおりです。

	$D_B$	$D_C$
ルートA（基準）	0	0
ルートB	1	0
ルートC	0	1

この2本を説明変数にして $\hat{y} = a + b_1 D_B + b_2 D_C$ を最小二乗法で当てはめます。1つの区分けをダミーで表しきったときは、予測値は同じルートの記録の平均になります。ルートAは $(10+12) \div 2 = 11$ 、Bは $(14+16) \div 2 = 15$ 、Cは $(20+22) \div 2 = 21$ 時間です。基準Aの平均がそのまま切片になるので $a = 11$ 、残る2つは基準との差ですから $b_1 = 15 - 11 = 4$ 、 $b_2 = 21 - 11 = 10$ です。

式に戻して確かめます。できあがった式 $\hat{y} = 11 + 4D_B + 10D_C$ にルートBの便を入れると $11 + 4 \times 1 + 10 \times 0 = 15$ 、Cの便は $11 + 4 \times 0 + 10 \times 1 = 21$ 、Aの便は2本とも 0 なので 11 時間。残差は −1 時間と +1 時間が3つずつで、残差平方和は $1 \times 6 = 6$ です。BとCの差は係数の引き算で $10 - 4 = 6$ 時間、平均どうしの差 $21 - 15 = 6$ 時間と一致しています。

次に、基準をルートBに取り替えてみます。ルートAに当てはまれば 1 をとる $D_A$ と、先ほどと同じ $D_C$ の2本を使う形です。切片はBの平均 15、係数はそれぞれ $11 - 15 = -4$ と $21 - 15 = 6$ になります。ルートAの便の予測値は $15 + (-4) \times 1 + 6 \times 0 = 11$ で先ほどと同じ値、残差平方和も 6 のままです。

数値だけを並べると、ルートCの係数ははじめの推定で 10、取り替えたあとの推定で 6 でした。どちらも同じデータへの同じ当てはめで、違うのはCの所要時間を何と比べているかです。前者の相手はA、後者の相手はBにあたります。ダミーの係数を見たら基準がどれかを先に確かめる、という手順には、こういう事情があります。

入門問題

全 4 問

問 1

学歴のような質的変数を回帰モデルの説明変数として使う方法として、最も適切なものはどれですか。

問 2

初任給を、高校卒を基準として高専短大卒・大学卒・大学院修士修了の3つのダミー変数で説明した重回帰で、切片が 16.653 と推定されました。この 16.653 が表すものとして最も適切なものはどれですか。

問 3

同じ推定結果で、大学卒ダミーの係数が 4.450、大学院修士修了ダミーの係数が 7.180 でした。大学院修士修了と大学卒の初任給の差の見積もりとして最も適切なものはどれですか。

問 4

同じデータで、基準を高校卒から大学卒に取り替えて推定し直しました。取り替えの前後で変わるものと変わらないものの組合せとして、最も適切なものはどれですか。

実践問題に挑戦 →