1936年のアメリカ大統領選挙で、ある雑誌が200万を超える回答を集めて予測を出しました。当時としては桁外れの規模です。それでいて予測は外れ、勝つとされた候補が大敗しました。同じ選挙を、はるかに小さな標本による調査のほうが当てています。
標本の選び方や答えの得られ方によって、結果が決まった方向へ寄ることがあります。その寄りを生む原因が偏りの源です。標本誤差 が偶然に由来し向きも定まらないのに対し、こちらは向きが決まっており、回答をいくら集めても打ち消し合ってはくれません。
対象者を選ぶ名簿が、母集団 を覆いきれていない場合です。名簿に載っていない人には、そもそも選ばれる機会がありません。冒頭の雑誌は、電話の加入者・自動車の所有者・自誌の購読者から名簿を作りました。1930年代にこれらを持っていたのは豊かな層に偏っており、そこから200万人を選んでも、有権者全体の縮図にはならなかったわけです。今日のインターネット調査も、利用しない人が最初から外れるという点で同じ構図を抱えています。
選んだ相手から回答が返ってこない場合です。返さなかった人に共通する傾向があると、集まった回答は特定の側へ寄ります。冒頭の雑誌も、送った1000万通に対して返ってきたのは4分の1ほどで、返信という手間をかけたのは政権に不満を持つ人が多かったと見られています。枠の偏りと無回答の偏りが同じ向きに重なった、というのがこの失敗の姿です。
回答が得られても、その中身が実際とずれる場合です。答えたい人だけが自ら参加する仕組み（インターネットの投票ボタンなど）、答えを誘う質問文（世論調査）、見栄や記憶違いによる回答、調査員の前では答えにくい内容、記入や集計の誤り。いずれも抽出とは別の段階で入り込みます。
「回答数が多いから信頼できる」は成り立ちません。200万の回答があっても、名簿が偏っていれば予測は外れます。むしろ標本が大きいほど標本誤差は小さくなるため、結果の幅は狭く示され、偏った値を自信たっぷりに提示することになります。大きさは偏りに対して無力です。
誤差の分け方も押さえておきます。母集団の一部を抽出したこと自体から生じるのが標本誤差、それ以外の原因から生じるものをまとめて非標本誤差と呼びます。ここに挙げた3つはすべて非標本誤差にあたり、全数調査 でも起こります。
偏りは 調査の設計 の段階で防ぐのが基本です。集計後も、既知の母集団構成による重み付けなどで軽減できる場合はありますが、十分な補助情報と仮定が必要で、完全に取り除ける保証はありません。
ある市が、住民基本台帳から無作為に選んだ 1000人 に「市の広報紙を読んでいますか」と郵送で尋ねました。抽出は申し分ありません。返ってきたのは 400通、回収率 40% で、そのうち「読んでいる」と答えた人は 60% でした。
この 60% を市民の割合として報告してよいでしょうか。市からの郵便に応じる人は、そもそも広報紙にも目を通しやすいはずです。答えなかった600人のうち、実際に読んでいる人が仮に 30% だったとすると、1000人全体では 、つまり 42% が本当の割合になります。
報告値との差は 18ポイント。いっぽう400人ぶんの標本誤差の目安はおよそ ±5ポイント です。偏りのほうが3倍以上大きく、誤差の幅を添えたところで届きません。
しかも、この 42% は答えなかった人の中身を知っていたから計算できたものです。実際の調査では 600人の側は分からないままなので、手元の数字を眺めても、ずれの向きも大きさも見えません。読んでいる人ほど答えやすいという当たり前の傾向が、そのまま結果に焼き付いて残ります。
無作為抽出が保証するのは、選ぶところまでです。選んだあと誰が答えるかは、こちらで決められません。回収率を書き添えることが求められるのは、その先を読み手が判断できるようにするためです。
インターネットだけで調査を行ったところ、インターネットを使わない人が対象から外れてしまいました。これはどの段階で生じた偏りですか。
ある番組が「この案に賛成の方は番組の電話番号へ」と呼びかけ、かかってきた1万件を集計しました。ここで生じている偏りはどれにあたりますか。
郵送調査の回収率が 40% にとどまりました。この事実だけから言えることはどれですか。