ひよこ統計

2変数の共分散・相関

統計検定2級

手元のデータについては、共分散 と 相関係数 をすでに扱いました。あちらは観測した n n 組の値から計算するものでした。同じ量を、まだ観測していない2つの確率変数について定めることもできます。データの平均を期待値に置き換えるだけです。

Cov(X,Y)=E ⁣[(X−E(X))(Y−E(Y))]=E(XY)−E(X)E(Y)\mathrm{Cov}(X, Y) = E\!\left[ (X - E(X))(Y - E(Y)) \right] = E(XY) - E(X)E(Y)
Cov(X,Y) \mathrm{Cov}(X, Y) ：X と Y の共分散、E(XY) E(XY) ：積 XY の期待値

右側の形が実用的です。「積の期待値から、期待値の積を引く」。V(X)=E(X2)−{E(X)}2 V(X) = E(X^2) - \{E(X)\}^2 と同じ構造で、実際 Y Y を X X に置き換えれば分散の式に戻ります。共分散は分散を2変数に広げたものだ、と見ておくと関係が整理できます。

ただし共分散の値そのものは、単位のとり方しだいで大きくも小さくもなります。そこで、それぞれの標準偏差で割って単位を消したものが相関係数です。データについて計算するときは r r と書きましたが、確率変数のほうは ρ \rho を使うのが慣用です。

ρ(X,Y)=Cov(X,Y)V(X) V(Y)\rho(X, Y) = \frac{\mathrm{Cov}(X, Y)}{\sqrt{V(X) \, V(Y)}}
ρ(X,Y) \rho(X, Y) ：V(X)>0, V(Y)>0V(X)>0,\ V(Y)>0 のときの相関係数。−1 以上 1 以下

1次変換を施したときの振る舞いも押さえておきます。U=aX+b U = aX + b 、W=cY+d W = cY + d とすると、共分散は係数の積だけ倍になり、定数項は影響しません。

Cov(U,W)=ac Cov(X,Y)\mathrm{Cov}(U, W) = ac \, \mathrm{Cov}(X, Y)

a≠0, c≠0a\ne0,\ c\ne0 なら、相関係数の分母の標準偏差も ∣a∣ |a| ・∣c∣ |c| 倍になるため、大きさは変わりません。ac ac が正なら相関係数はそのまま、負なら符号が反転します。aまたはcが0なら変換後の分散が0となり、相関係数は定義できません。

共分散が 0 であること（無相関）と、独立であることは同じではありません。独立なら必ず共分散は 0 になりますが、逆は成り立ちません。たとえば X X が −1,0,1 -1, 0, 1 を等確率でとり Y=X2 Y = X^2 とすると、Y Y は X X から完全に決まるのに共分散は 0 です。共分散が拾えるのは直線的な関係だけだからです。

積の期待値から共分散を出し、変換の影響を見る

E(X)=2.0 E(X) = 2.0 、E(Y)=3.0 E(Y) = 3.0 、E(XY)=6.3 E(XY) = 6.3 、V(X)=V(Y)=1 V(X) = V(Y) = 1 とします。共分散は 6.3−2.0×3.0=0.3 6.3 - 2.0 \times 3.0 = 0.3 。分散がどちらも1なので、相関係数も ρ=0.31×1=0.3 \rho = \frac{0.3}{\sqrt{1 \times 1}} = 0.3 と同じ値になります。

ここで U=3X−2 U = 3X - 2 、W=−2Y−4 W = -2Y - 4 と変換します。共分散は係数の積だけ倍になるので 3×(−2)×0.3=−1.8 3 \times (-2) \times 0.3 = -1.8 。値が6倍に膨らみ、符号も逆になりました。

相関係数のほうは −0.3 -0.3 です。絶対値は 0.3 のまま、符号だけが 3×(−2)<0 3 \times (-2) < 0 を受けて反転しています。共分散の −1.8 という数字は変換の仕方に振り回されていますが、相関係数のほうは関係の強さだけを保っています。単位を消すことの意味がここに出ています。

平均は個々の変数より、その平均自身とよく相関する

標準化した3科目の得点 X1,X2,X3 X_1, X_2, X_3 を考えます。分散はどれも1、どの2科目の相関も 0.5（分散が1なので共分散も同じ値） だとして、3科目の平均 Y=X1+X2+X33 Y = \frac{X_1 + X_2 + X_3}{3} と、1科目 X1 X_1 の相関を求めます。

共分散は分配できるので Cov(X1,Y)=1+0.5+0.53=23 \mathrm{Cov}(X_1, Y) = \frac{1 + 0.5 + 0.5}{3} = \frac{2}{3} （自分自身との共分散は分散の1）。Y Y の分散は、3つの分散と3組の共分散から V(Y)=3+2×0.5×39=69=23 V(Y) = \frac{3 + 2 \times 0.5 \times 3}{9} = \frac{6}{9} = \frac{2}{3} です。

よって相関係数は 2/31×2/3=23≈0.82 \frac{2/3}{\sqrt{1 \times 2/3}} = \sqrt{\frac{2}{3}} \approx 0.82 。科目どうしの相関は 0.5 しかないのに、1科目と3科目平均の相関は 0.82 まで上がりました。平均には X1 X_1 自身が含まれているうえ、他2科目の偶然のぶれが互いに相殺されて薄まるためです。合計点や平均点が個々の科目より安定した指標になる理由が、この数字に表れています。

入門問題

全 4 問
問 1

E(X)=1 E(X) = 1 、E(Y)=2 E(Y) = 2 、E(XY)=3.5 E(XY) = 3.5 のとき、Cov(X,Y) \mathrm{Cov}(X, Y) はいくつですか。

問 2

U=2X U = 2X 、W=3Y W = 3Y と変換したとき、相関係数 ρ(U,W) \rho(U, W) と ρ(X,Y) \rho(X, Y) の関係はどれですか。

問 3

2つの確率変数の共分散が 0 であるとき、正しい説明はどれですか。

問 4

標準化した2科目の得点 X1,X2 X_1, X_2 （分散はどちらも1、相関 0.5）について、平均 Y=X1+X22 Y = \frac{X_1 + X_2}{2} と X1 X_1 の相関係数に最も近いものはどれですか。

実践問題に挑戦 →