検出力

第1種の過誤と第2種の過誤 のうち、見落としのほうを裏返した量が検出力です。対立仮説が正しいとき、それを取り逃がさずに帰無仮説を棄却できる確率——差が本当にあるなら、それを見つけ出せる力を表します。

図には分布が2つあります。左は帰無仮説が正しいときの検定統計量の分布、右は対立仮説が正しいときの分布で、点線が棄却の境界です。左の分布のうち境界より右へはみ出した部分が $\alpha$、右の分布のうち境界より左に残った部分が $\beta$。検出力は右の分布のうち、境界より右の塗っていない部分にあたります。この絵を眺めると、面積を大きくする道筋が見えてきます。

• 標本を大きくする：分布の幅が $\sqrt{n}$ に反比例して狭まり、2つの山の重なりが減る。調べる側が自分で動かせる、最も確実な手段。
• 想定する差 $|\theta_1 - \theta_0|$ が大きい：山どうしが離れるほど見つけやすい。ただし差の大きさは自然が決めるもので、こちらでは動かせない。
• 母集団のばらつき $\sigma$ が小さい：山が細くなって重なりが減る。測定方法を精密にする、条件を揃えるといった工夫がここに当たる。
• 有意水準 $\alpha$ を大きくする：境界が中央寄りへ動くので検出力は上がるが、第1種の過誤の確率も連動して上がる。引き換えであって、得だけの手段ではない。

そして検出力は、棄却できなかったときの読み方を決めます。検出力が 0.3 しかない検定で棄却できなかったとしても、差が無いことの証拠にはなりません。7割方は見落とす仕掛けで、見落としただけかもしれないからです。「差は認められなかった」という報告は、どれだけ見つける力のある検定だったのかとセットで読むものです。