検定の結論は、棄却するかしないかの二択で終わります。ところが同じ「棄却」でも、境界をわずかに超えただけの結果と、大きく飛び出した結果とでは重みが違います。その差を数値で残すのが、次の確率です。
この確率が p値 です。帰無仮説が正しいとしたときに、実際に得られた値と同じかそれ以上に極端な値が現れる確率——小さいほど、いま手にしている結果は帰無仮説のもとでは説明しにくい、ということになります。上の式は上側の片側検定の形です。ここで確率を読むもとになる分布、つまり帰無仮説が正しいときに検定統計量が従う分布を帰無分布といいます。帰無分布が左右対称なら——z や t を使う検定がこれにあたります——両側検定は反対側の裾も同じだけ数えるので、p値はちょうど2倍になります（両側検定と片側検定）。カイ二乗分布やF分布のように左右非対称な分布では、この倍の関係は成り立ちません。
p値は「帰無仮説が正しい確率」ではありません。計算のなかで帰無仮説は正しいと仮定されており、確率が付いているのは仮説ではなくデータのほうです。また 0.049 と 0.051 の間に本質的な違いはありません。5% という線は約束事であって、そこに自然界の切れ目があるわけではないのです。
図の2本の縦線は役割が違います。破線は有意水準から決まる境界で、データを見る前に置かれた動かない位置。実線は観測された検定統計量で、標本を取り替えるたびに動きます。濃く塗られた面積がp値で、薄い部分まで含めた全体が有意水準の 5% です。判定は なら棄却で、同じ検定について言うかぎり、統計量が棄却域に入るかを見る方法と同じ結論になります。横軸の位置で比べるか面積で比べるかの違いにすぎません。
p値は差の大きさも語りません。標本を大きくすれば、実用上は無視してよい小さな差でもp値はいくらでも下がっていきます。p値が小さいと言えるのは、その結果を偶然では説明しにくいというところまで。差がどれくらいの大きさなのかを知りたければ、信頼区間 のように大きさそのものを示す道具と並べて読む必要があります。
ある学力試験の全国平均は 60 点、母標準偏差は 12 点と分かっています。ある学校の 36 人の平均が 64 点でした。この学校は全国平均より高いと言えるでしょうか。
、 と置きます。標本平均のばらつきは 点なので、検定統計量は 。標準正規分布表から、この値より右側の面積は 0.023 です。
有意水準を 5% とすれば 0.023 < 0.05 で棄却できますが、1% とすれば棄却できません。「どの水準までなら棄却できるか」がそのまま読み取れるところが、棄却域との比較だけでは得られないp値の利点です。
同じ 4 点差でも、調べた人数が変わればp値は大きく動きます。
| 調べた人数 | 9 人 | 36 人 | 100 人 |
|---|---|---|---|
| 標本平均のばらつき（点） | 4.0 | 2.0 | 1.2 |
| 1.00 | 2.00 | 3.33 | |
| p値 | 0.159 | 0.023 | 0.0004 |
9 人なら偶然の範囲に収まり、100 人ならまず起こらない値になります。差は 4 点のまま動いていません。動いたのは、その差を偶然で説明できるかどうかの見え方だけです。
p値の説明として最も適切なものはどれですか。
有意水準 5% の片側検定を行い、p値が 0.023 となりました。この検定の結論はどうなりますか。
母平均の検定でp値が非常に小さくなりました。ここから言えることとして最も適切なものはどれですか。