ひよこ統計

残差プロット

統計検定2級

散布図 に回帰直線を重ねた図をいくら眺めても、その直線を当てはめてよかったのかは案外つかめません。点が直線のまわりに集まっているように見えても、上下のずれ方の傾向は直線に紛れて見えなくなるからです。そこで、各点の縦のずれである残差だけを取り出し、横軸に予測値 y^i \hat{y}_i 、縦軸に残差をとって点を打ちます。この図が残差プロットで、当てはめた直線が適切だったかを確かめる道具になります。

横軸に予測値、縦軸に残差をとった残差プロットを3枚横に並べた図。各パネルの上には左から順に丸で囲んだ番号 ①・②・③ が見出しとして付いている。3枚とも残差0の位置に赤い水平の破線が引かれ、縦軸の範囲はマイナス10から10でそろえてある。①は点が0の破線を挟んで上下にほぼ均等に散らばり、横軸のどの位置でも散らばりの幅が同じくらいで、特徴のある並びは見当たらない。②は左端が0の線より下、中央が上、右端がふたたび下という弓なりの並びになっている。③は左端では点が0の線のごく近くに集まり、右へ行くほど上下の幅が広がって、横に開いた形になっている。
同じ軸で描いた3つの残差プロット

①は0の水平線を挟んで上下に均等で、横軸に沿って見ても目立つ並びがありません。直線で当てはめてよかったという合図です。②は両端が下、真ん中が上という弓なりの並びが残っており、もとの関係が直線ではないと分かります。③は左では0の線の近くに集まり、右へ行くほど縦の幅が広がっています。予測値の大きいところほど大きく外れる、つまりばらつきの大きさが一定でない形です。

ei=yi−y^ie_i = y_i - \hat{y}_i
ei e_i :i i 番目の点の残差(縦軸にとる値)、yi y_i :実際に観測された値、y^i \hat{y}_i :回帰直線が返す予測値

最小二乗法 で直線を引いた時点で残差の合計は 0 になりますから、合計や平均を求めても当てはまりの良し悪しは判断できません。残差プロットで読むのが大きさではなく並び方の形なのは、このためです。なお、単回帰では予測値が x x の1次式なので、横軸を予測値にしても説明変数 x x にしても、点の並ぶ形は変わりません(傾きが負のときは左右が入れ替わります)。

②と③では次にとる手が違います。②のように曲がりが残るなら、x x や y y を対数などに置き換えて直線に近い関係へ直す 変数変換 が候補になります。③はどの予測値のところでも同じ程度にばらつくという前提(等分散性)が崩れた状態で、標準誤差 やそれを用いた区間の計算はこの前提の上に立っているため、出てきた値をそのまま使えません。

参加人数とアイデアの数から残差を求めて並びを読む

参加人数を2人から6人まで変えた5回の話し合いで、出たアイデアの数を数えました。

2人3人4人5人6人
アイデアの数(件)15775

平均は xˉ=4 \bar{x} = 4 人、yˉ=5 \bar{y} = 5 件です。参加人数の偏差は −2, −1, 0, 1, 2、アイデアの数の偏差は −4, 0, 2, 2, 0 なので、偏差の積の合計は 8+0+0+2+0=10 8+0+0+2+0 = 10 で共分散は 10÷5=2 10 \div 5 = 2 、参加人数の偏差の2乗の合計は 4+1+0+1+4=10 4+1+0+1+4 = 10 で分散は 10÷5=2 10 \div 5 = 2 です。したがって傾きは b=2÷2=1 b = 2 \div 2 = 1 、切片は a=5−1×4=1 a = 5 - 1 \times 4 = 1 となり、当てはめた直線は y^=1+x \hat{y} = 1 + x です。

この直線に参加人数を入れて予測値を求め、観測されたアイデアの数との差をとります。

2人3人4人5人6人
予測値 y^ \hat{y} (件)34567
残差 e e (件)−2121−2

残差プロットに打つ点は、横軸に予測値、縦軸に残差をとって (3, −2)、(4, 1)、(5, 2)、(6, 1)、(7, −2) の5つです。残差の合計は −2+1+2+1−2=0 -2+1+2+1-2 = 0 ですが、これは直線の決め方から必ずそうなる値で、当てはまりの良さを表しているわけではありません。

そこで符号の並びを見ると、両端が負で真ん中の3つが正、つまり左下から上がって右下へ戻る弓なりです。図の②と同じ形で、参加人数を1人増やすごとにアイデアが同じだけ増えるという見立てが実際とずれていることが分かります。実際のデータは4人・5人を頂点として6人では減る山型で、直線はその山をならすように引かれ、両端では実際より高く、中央では低く見積もっていました。5点しかなくても、残差だけを取り出せばこのずれが見えてきます。

入門問題

全 4 問
問 1

残差プロットで縦軸にとる値はどれですか。

問 2

残差プロットの見え方のうち、直線を当てはめて問題なかったと判断できるものはどれですか。

問 3

残差プロットで、両端が0の線より下、中央が上という弓なりの並びが見られました。ここから読み取れることはどれですか。

問 4

残差の合計が0であることの説明として正しいものはどれですか。