第1種の過誤と第2種の過誤

検定は確率にもとづく判断なので、手続きを正しく踏んでも結論を誤ることがあります。誤り方は2通りです。帰無仮説が正しいのに棄却してしまうのが第1種の過誤、帰無仮説が誤りなのに棄却しないのが第2種の過誤。前者は無いものを有ると言う誤り、後者は有るものを見落とす誤りにあたります。

2つは対等ではありません。$\alpha$ は検定する側が先に選べる値で、5% と決めればそれがそのまま第1種の過誤の確率になります。ところが $\beta$ は1つの数値に決まりません。「差がある」と一口に言っても、真の母数が $\theta_0$ のすぐ隣なのか遠く離れているのかで、見落としやすさが変わるからです。$\beta(\theta_1)$ と引数を付けて書くのは、想定する値ごとに違う値になることを示すためです。

しかも2つを同時に小さくすることはできません。棄却域を狭めれば $\alpha$ は下がりますが、そのぶん棄却しにくくなるので $\beta$ は上がります。逆も同じです。標本の大きさを変えずに片方を減らせば、必ずもう片方が増える。両方を下げるには、標本を大きくして分布の幅そのものを狭めるのが基本になります（検出力）。

では $\alpha$ を 5% にするか 1% にするか、どちらが正しいのか。これは計算では決まりません。病気の見落としと不要な精密検査、どちらの痛みが大きいか——統計の外側にある事情を持ち込んで決める判断です。