ひよこ統計

自由度調整（修正）済み決定係数

統計検定2級

重回帰の出力では、R2 R^2 のすぐ隣にもう1つの当てはまり指標が並びます。これが自由度調整（修正）済み決定係数で、記号は Rˉ2 \bar{R}^2 です。説明変数を増やしても 決定係数 R2 R^2 は小さくならないという事情への手当てであることは 重回帰モデル で触れました。ここでは、その手当ての中身を扱います。2つの式を並べると、違いは平方和のまま比べるか、自由度で割ってから比べるかの1点だけです。

R2=1−SeSTR^2 = 1 - \frac{S_e}{S_T}
Se S_e ：残差平方和（説明しきれずに残った分）、ST S_T ：全平方和（観測値 y y のばらつき全体）
Rˉ2=1−Se/(n−k−1)ST/(n−1)\bar{R}^2 = 1 - \frac{S_e / (n - k - 1)}{S_T / (n - 1)}
Rˉ2 \bar{R}^2 ：自由度調整（修正）済み決定係数、n n ：標本サイズ（データの件数）、k k ：説明変数の個数

上は平方和どうしの比、下はそれぞれを自由度で割った量、すなわち平均平方どうしの比です。残差側の自由度 n−k−1 n-k-1 は説明変数を1つ増やすたびに1つ減るので、Se S_e が同じままなら Se/(n−k−1) S_e/(n-k-1) は大きくなり、1 から引かれる分が増えて Rˉ2 \bar{R}^2 は下がります。加えた変数がこの割り引きを上回るほど残差平方和を減らしたときにだけ、値は上がります。割り引きが残差平方和の減り方を上回れば値は 0 を下回ることもあり、R2 R^2 と違って Rˉ2 \bar{R}^2 に 0 以上という制限はありません。ダミー変数を用いた回帰 で学歴ダミーを載せた初任給16件のデータには、別の当てはめ方もあります。学歴を12年・14年・16年・18年という教育年数に置き換えれば、説明変数1つの単回帰でも同じ初任給を説明できます。この2つのモデルを両方の指標で並べます。

初任給を説明する2つのモデル（観測数 16）
説明変数の個数 k k R2 R^2 Rˉ2 \bar{R}^2
学歴ダミーの重回帰30.9000.876
教育年数の単回帰10.8980.891

R2 R^2 では重回帰がわずかに上ですが、説明変数3つ分を割り引いた Rˉ2 \bar{R}^2 では順位が入れ替わります。単回帰の側で R2 R^2 と Rˉ2 \bar{R}^2 がずれている点も見落とせません。k=1 k=1 でも分母の自由度は n−1 n-1 と n−2 n-2 で食い違うので、値が一致しないほうが普通です。

初任給の2つのモデルで割り引きの中身を確かめる

表の Rˉ2 \bar{R}^2 が本当にその値になるかを、単回帰のほうから追ってみます。標本サイズは 16、説明変数は教育年数の 1 つだけです。まず R2=0.898 R^2 = 0.898 は、式を裏返せば Se÷ST=1−0.898=0.102 S_e \div S_T = 1 - 0.898 = 0.102 を意味します。残差平方和が全平方和の 10.2% 残っている、ということです。

分母に置く2つの自由度
n−1 n-1 n−k−1 n-k-1 (n−1)/(n−k−1) (n-1)/(n-k-1)
学歴ダミーの重回帰（k=3 k=3 ）15121.250
教育年数の単回帰（k=1 k=1 ）1514約 1.071

自由度で割ってから比をとると Se/14ST/15=SeST×1514 \dfrac{S_e/14}{S_T/15} = \dfrac{S_e}{S_T} \times \dfrac{15}{14} となり、平方和の比を右端の倍率だけ割り引いたものになります。単回帰では 0.102×15÷14=0.1093 0.102 \times 15 \div 14 = 0.1093 なので、Rˉ2=1−0.1093=0.8907 \bar{R}^2 = 1 - 0.1093 = 0.8907 。表に載っていた 0.891 と重なりました。

重回帰も同じ手順です。説明変数が3つあるぶん自由度は 16−3−1=12 16 - 3 - 1 = 12 まで減り、倍率は 15÷12=1.25 15 \div 12 = 1.25 に上がります。残差の割合 1−0.900=0.100 1 - 0.900 = 0.100 を 1.25 倍すると 0.125 で、Rˉ2=1−0.125=0.875 \bar{R}^2 = 1 - 0.125 = 0.875 。表示は 0.876 ですが、これは手元の R2 R^2 が小数第3位まで丸められているためで、丸める前の値（標準誤差から逆算すると 0.9005 程度）で計算すると 0.876 になります。

2つを見比べると、残差の割合そのものは 0.100 と 0.102 でほとんど差がありません。学歴ダミーを3つ使って減らせた残差は、教育年数1つで減らせた分をごくわずか上回っただけでした。それに対して倍率は 1.25 と 1.071 で開きがあります。調整後に単回帰が上に来たのは、この差の小ささと倍率の開きが釣り合わなかったからです。

なお学歴ダミーの重回帰は、高校卒・高専短大卒・大学卒・大学院修士修了の4段階に別々の水準を割り当てるモデルです。いっぽう教育年数の単回帰は、12年・14年・16年・18年という等間隔の目盛りの上に4段階を載せ、直線1本で済ませています。Rˉ2 \bar{R}^2 の比較が示したのは、この初任給のデータでは、4つの水準を自由に動かせる分の柔軟さを買うほどの当てはまりの改善がなかった、ということです。ここで注意したいのは、これが「区分に番号を振ってよい」という話ではない点です。等間隔と見なせる根拠が題材の側にあるなら直線1本で済み、自由度を節約できます。根拠がないまま 1, 2, 3, 4 と振ると、その仮定を勝手に置くことになります。

入門問題

全 3 問
問 1

自由度調整済み決定係数が通常の決定係数と違う値になる理由として、最も適切なものはどれですか。

問 2

観測数 16、説明変数 1 つの単回帰で、決定係数が 0.898 でした。自由度調整済み決定係数として最も近い値はどれですか。

問 3

同じ 16 件のデータに 2 つのモデルを当てはめたところ、説明変数 3 つの重回帰では R2=0.900 R^2 = 0.900 ・Rˉ2=0.876 \bar{R}^2 = 0.876 、説明変数 1 つの単回帰では R2=0.898 R^2 = 0.898 ・Rˉ2=0.891 \bar{R}^2 = 0.891 となりました。説明変数の個数に対する割り引きを含む調整済み決定係数でモデルを比較するとき、最も適切なものはどれですか。

実践問題に挑戦 →