ひよこ統計

重回帰モデル

統計検定2級

部屋の大きさから家賃を予測する直線を1本引いたとします。この式で説明される側の家賃を被説明変数、説明に使う側の大きさを説明変数といいます。ところが、同じ8畳でも新築と築20年では家賃が違います。大きさをそろえてもなお残るこの差は、大きさだけを見ている式では埋めようがありません。そこで築年数も説明変数に加えます。このように説明変数を2つ以上使って1つの被説明変数を説明する回帰モデルを重回帰モデルといい、説明変数が1つのものを単回帰モデルと呼んで区別します。

説明変数を増やす狙いは2つあります。当てはまりを良くすることと、ほかの要因をそろえて見ることです。

説明変数が何個になっても、当てはめ方は 最小二乗法 のままです。残差平方和がいちばん小さくなるように、切片と各説明変数の係数を一度に決めます。説明変数を k k 個に増やしたモデルは、次の形に書けます。

y^=a+b1x1+b2x2+⋯+bkxk\hat{y} = a + b_1 x_1 + b_2 x_2 + \cdots + b_k x_k
y^ \hat{y} ：予測値（説明したい変数の見積もり）、x1,x2,…,xk x_1, x_2, \dots, x_k ：説明に使う k k 個の変数、b1,b2,…,bk b_1, b_2, \dots, b_k ：各説明変数に1つずつ付く係数、a a ：切片（説明変数がすべて 0 のときの予測値）

係数が変数1つにつき1つ付く形は単回帰と同じですが、1つ1つの意味は変わります。b1 b_1 が表すのは、x2 x_2 以降を一定に保ったまま x1 x_1 だけが1増えたときの予測値の変化量であり、x1 x_1 と y y だけを取り出して求めた傾きとは一致しません。この読み方は 偏回帰係数、各係数が 0 といえるかどうかの判断は 回帰係数の検定 で扱います。当てはまりの良さは単回帰と同じく 決定係数 R2 R^2 で測りますが、重回帰の出力では R2 R^2 と 自由度調整（修正）済み決定係数 が並べて示されます。

説明変数はいくつでも足せますが、多いほど良いわけではありません。関係のうすい変数を加えても R2 R^2 は下がらないので、値が上がったことだけを見て当てはまりが良くなったとは言えません。説明変数の個数のぶんだけ割り引いた自由度調整済みの値を並べて読むのは、このためです。また、説明変数どうしが強く相関していると、どちらの条件付き関連を表すのかを分けにくくなり、係数の値が不安定になります（多重共線性）。測っていない交絡要因や逆向きの関係もあり得るため、観察データの回帰係数をそのまま因果効果とは読めません。

大きさだけの式に築年数を足す

A室B室C室D室E室F室
大きさ x1 x_1 （畳）66881010
築年数 x2 x_2 （年）010010010
家賃 y y （万円）871091211

同じ路線沿いにある6室の記録です。まずは大きさ x1 x_1 だけで直線を当てはめてみます。平均は xˉ1=8 \bar{x}_1 = 8 畳、yˉ=9.5 \bar{y} = 9.5 万円です。偏差の積の和は 3+5+0+0+5+3=16 3+5+0+0+5+3 = 16 、大きさの偏差の2乗和は 4+4+0+0+4+4=16 4+4+0+0+4+4 = 16 なので、傾きは 16÷16=1 16 \div 16 = 1 、切片は 9.5−1×8=1.5 9.5 - 1 \times 8 = 1.5 となり、直線は y^=1.5+x1 \hat{y} = 1.5 + x_1 と決まります。

この直線が返す予測値は、6畳の2部屋がともに 7.5 万円、8畳が 9.5 万円、10畳が 11.5 万円です。大きさが同じ2部屋には同じ値しか返せないので、実際には1万円離れている2部屋の家賃を、どちらも真ん中で言い当てることになります。残差はすべて 0.5 万円ぶん（新築側は不足、築10年側は超過）で、残差平方和は 0.25×6=1.5 0.25 \times 6 = 1.5 です。

次に築年数を説明変数に加えます。築年数が同じ0年の3部屋（A・C・E）を見ると、大きさが2畳増えるごとに家賃が2万円上がるので b1=2÷2=1 b_1 = 2 \div 2 = 1 。大きさが同じ2部屋を見ると、築年数が10年増えると家賃が1万円下がるので b2=−1÷10=−0.1 b_2 = -1 \div 10 = -0.1 。A室を式に当てて切片を求めると a=8−1×6+0.1×0=2 a = 8 - 1 \times 6 + 0.1 \times 0 = 2 です。

できあがった式 y^=2+x1−0.1x2 \hat{y} = 2 + x_1 - 0.1 x_2 を6室すべてに当てると、たとえばD室（8畳・築10年）は 2+8−0.1×10=9 2 + 8 - 0.1 \times 10 = 9 万円で、実際の家賃と一致します。ほかの5室も同様に一致し、残差平方和は 1.5 から 0 まで下がりました。残差平方和がこれより小さくなることはありえませんから、そろえて比べながら作ったこの式が、そのまま最小二乗法の解になっています。この作例では、大きさを一定にした予測値の差を築年数の係数で表せました。これは式の中での条件付き関連であり、観察データだけから築年数の因果効果を証明するものではありません。

ここでは話を追いやすいよう、家賃が大きさと築年数だけできっちり決まるデータを作りました。実際のデータで残差が 0 になることはまずありません。それでも、関係のある変数を加えると残差が小さくなる（少なくとも大きくはならない）という向きは、このとおりです。

入門問題

全 3 問
問 1

重回帰モデルの説明として最も適切なものはどれですか。

問 2

家賃 y y （万円）を部屋の大きさ x1 x_1 （畳）と築年数 x2 x_2 （年）で説明したところ、y^=2+x1−0.1x2 \hat{y} = 2 + x_1 - 0.1 x_2 という式が得られました。8畳で築20年の部屋について、この式が返す予測値はどれですか。

問 3

大きさだけで家賃を説明していた式に、説明変数として築年数を加えました。この変更でできるようになることとして最も適切なものはどれですか。

実践問題に挑戦 →