質問紙の文面から作りはじめると、たいてい行き詰まります。誰に配るのかが決まっていなければ、どんな言葉で聞けばよいかも決まらないからです。しかも配り終えたあとで「本当は市全体のことが知りたかった」と気づいても、集めたデータは作り直せません。
そこで、目的の設定から結果の検証までを、集めはじめる前に順序立てて決めておきます。この一連の計画を調査の設計といいます。PPDACサイクル でいえば、計画（Plan）にあたる段階です。
この順序は入れ替えられません。母集団が決まらなければ名簿を選べず、名簿がなければ抽出もできないためです。逆にいえば、質問文や集計の仕方はあとから練り直す余地がありますが、母集団の定義・抽出枠・抽出方法の3つは、一度動きだすと戻れません。
集めたあとで直せない代表が、母集団の定義と抽出の方法です。体育館の利用者に配った調査票から「市民全体」の話をすることは、あとからどんな分析を重ねても無理です。どこがまずかったのかは 偏りの源 で整理しますが、いずれも設計の段階でしか手を打てない、という点は共通しています。
なお、対象に条件を割りつけず、あるがままを観察して情報を集める調査は、観察研究の一種です。研究者が条件を割りつけて結果を比べる実験研究とは、設計の考え方が変わります。両者の違いは 実験・観察研究 で整理します。
「市民の運動習慣を知りたい」という同じ目的から、2つの案を作りました。予算も回収予定数もほぼ同じです。
| 抽出枠 | 選び方 | 語れる範囲 | |
|---|---|---|---|
| A案 | 住民基本台帳 | 無作為に1500人を選び郵送 | 市の住民全体 |
| B案 | 市営体育館の窓口 | 来館者に1500部を配布 | 体育館の来館者 |
B案の問題は、回収数でも質問文でもありません。抽出枠が「来館者」になっている以上、そこから選ばれた人たちの母集団は来館者であって、市民全体ではないという点です。運動習慣という調べたい事柄そのものが、来館するかどうかと結びついているため、ずれの向きも読めています。運動している人の割合は、市全体より高く出ます。
しかもこのずれは、集計の段階では見えません。B案の回答用紙だけを見ても、そこには来館者かどうかを示す情報がないからです。設計の段階で気づかなければ、そのまま「市民の◯%が運動している」という数字になって出ていきます。
A案にも弱点はあります。郵送は回収率が低くなりがちで、届いた1500通のうち返ってくるのが半分以下ということも珍しくありません。返さなかった人に偏りがあれば、無作為に選んだ意味は薄れます。だからこそ最後の段階で回収率を記録し、結果と一緒に示す必要があります。
調査を設計するとき、質問文を書くよりも先に決めておかなければならないものはどれですか。
調査結果を公表するとき、得られた数値と一緒に示す必要があるものとして最も適切なものはどれですか。
調査を実施したあとの集計段階になって、修正できないものはどれですか。