ひよこ統計

不偏性

統計検定2級

推定量の期待値が、狙っている母数とぴたりと一致する。この性質を不偏性といい、不偏性を持つ推定量を不偏推定量と呼びます。

E ⁣(θ^)=θE\!\left(\hat{\theta}\right) = \theta
θ^ \hat{\theta} ：標本から作った推定量、θ \theta ：推定したい母数

期待値と母数の差 E(θ^)−θ E(\hat{\theta}) - \theta を偏りといい、不偏推定量とは偏りが 0 の推定量のことです。ここを「1回の推定で当たる」と読み替えてはいけません。当たるのではなく、外し方が上下に均等で、何度も繰り返せば行き過ぎと足りなさが帳消しになる、という意味です。標本平均 Xˉ \bar{X} は母平均の、標本比率 p^ \hat{p} は母比率の、不偏分散 S2 S^2 は母分散の不偏推定量です。

ここからは X1,…,XnX_1,\ldots,X_n を独立同分布の無作為標本とします。なぜ母分散の推定で n−1n-1 で割るのかを、この条件のもとで導きます。

∑i=1n(Xi−μ)2=∑i=1n(Xi−Xˉ)2+n(Xˉ−μ)2\sum_{i=1}^{n}\left(X_i - \mu\right)^2 = \sum_{i=1}^{n}\left(X_i - \bar{X}\right)^2 + n\left(\bar{X} - \mu\right)^2
μ \mu ：母平均、Xˉ \bar{X} ：標本平均、Xi X_i ：標本の各値、n n ：標本の大きさ

左辺の期待値は nσ2 n\sigma^2 、右端の項の期待値は n×σ2n=σ2 n \times \frac{\sigma^2}{n} = \sigma^2 です。したがって真ん中の項、つまり標本平均のまわりで測った2乗和の期待値は (n−1)σ2 (n-1)\sigma^2 にとどまります。標本平均は手元のデータに合わせて動くので、偏差はどうしても小さめに出る。足りない分がちょうど σ2 \sigma^2 なので、n n ではなく n−1 n - 1 で割れば期待値が σ2 \sigma^2 に戻ります。

なお、不偏推定量は1つに決まりません。標本の最初の1個 X1 X_1 も E(X1)=μ E(X_1) = \mu を満たすので、母平均の不偏推定量です。ただし 一致性 のページで見たとおり、X1 X_1 は標本をいくら大きくしても母平均に近づきません。不偏であることは推定量に求める条件のひとつにすぎず、複数あるなら分散の小さいほうを選ぶ——という順序で絞り込んでいきます。

S2 S^2 が母分散の不偏推定量だからといって、その平方根 S S が母標準偏差の不偏推定量になるわけではありません。平方根を取る操作で期待値の関係は崩れ、E(S) E(S) は σ \sigma より小さくなります。2乗の世界で合わせた釣り合いは、平方根の世界へは持ち越せません。

3つの数からなる母集団で、不偏分散の期待値を確かめる

母集団を 1, 2, 3 の3つの数だけにして、取り方を全部書き出します。母平均は 2、母分散は 1+0+13=23 \frac{1 + 0 + 1}{3} = \frac{2}{3} 。ここから1つ選んで元に戻し、それを2回繰り返します。取り方は 3×3=9 3 \times 3 = 9 通りで、どれも同じ確率です。

n=2 n = 2 のとき偏差は2つの値の差を半分にした形になるので、2乗和は差の2乗の半分です。それを n−1=1 n - 1 = 1 で割った不偏分散 S2 S^2 は、9通りで次の値になります。

2回の取り出しの目の組合せ（列＝2回目）
1回目123
100.52
20.500.5
320.50

9つの平均を取ると 0+0.5+2+0.5+0+0.5+2+0.5+09=69=23 \frac{0 + 0.5 + 2 + 0.5 + 0 + 0.5 + 2 + 0.5 + 0}{9} = \frac{6}{9} = \frac{2}{3} 。母分散とぴたり一致しました。個々の値は 0 だったり 2 だったりと母分散から大きく外れているのに、平均すると戻ってくる——これが不偏性の見え方です。

比べるために、同じ9通りを n n で割った標本分散でも並べてみます。

2回の取り出しの目の組合せ（列＝2回目）
1回目123
100.251
20.2500.25
310.250

平均は 39=13 \frac{3}{9} = \frac{1}{3} で、母分散の半分です。n−1n=12 \frac{n-1}{n} = \frac{1}{2} 倍という先の理屈どおりで、n=2 n = 2 は取りこぼしがもっとも大きく出る場合にあたります。

標本平均のほうも見ておきます。9通りの標本平均は 1, 1.5, 2, 1.5, 2, 2.5, 2, 2.5, 3 で、その平均は 189=2 \frac{18}{9} = 2 。母平均と一致し、標本平均が不偏推定量であることも確かめられました。

最後に平方根です。9通りの S=S2 S = \sqrt{S^2} は 0, 約 0.707, 約 1.414 のいずれかで、平均は約 0.629。母標準偏差 23≈0.816 \sqrt{\frac{2}{3}} \approx 0.816 には届いていません。S2 S^2 では合っていたのに S S では合わない、という先の注意が数値で出た形です。

入門問題

全 4 問
問 1

推定量が不偏性を持つとは、どういうことですか。

問 2

正規母集団から大きさ n n の独立同分布な無作為標本を取り、偏差の2乗和を n n で割った値の期待値はどれになりますか。

問 3

不偏推定量について正しいものはどれですか。

問 4

不偏分散 S2 S^2 は母分散 σ2 \sigma^2 の不偏推定量です。ではその平方根 S S について、正しいものはどれですか。

実践問題に挑戦 →