調査は、すでに起きていることをそのまま観察して集めます（調査の設計）。実験では、こちらが条件を割り付けます。誰に（何に）どの条件をあてるかを決められる、というこの一点が、設計の考え方をまるごと変えます。
何と何を比べるのか、その条件を何に割り付けるのか、同じ条件をいくつ繰り返すのか、何を測るのか。データを取る前にこれらを決めておくことを実験のデザイン（実験計画）といいます。
順番が大事です。割り付けを決めてからデータを取るのであって、取れた結果を見てから割り付けを直すことはできません。「効果が出そうな相手に新しい条件をあてる」という選び方をしてしまえば、条件の差と相手の差が混ざり、どれだけ丁寧に集計しても分けられなくなります。
そこで割り付けは人の判断ではなく乱数で決めます。この考え方を含め、実験が満たすべき要件を3つにまとめたものが フィッシャーの3原則 です。
条件を割り付けていれば実験、割り付けずに観察するだけなら観察研究です。過去の出来事を聞き取る調査は、内容がどれだけ細かくても実験にはなりません。境目はこの一点だけです。この線引きを研究の型として整理するのが 実験・観察研究、条件をあてない相手をどう置くかを扱うのが 処理群と対照群 になります。
金属部品を削る速度を変えると、部品の強度が変わるかどうかを調べます。決めるべきことは次のとおりです。
| 決めること | この実験での決め方 |
|---|---|
| 比べる条件 | 切削速度 |
| 条件の段階 | 低・中・高の3段階 |
| 割り付ける相手 | 素材1本 |
| 繰り返しの数 | 各段階に4本ずつ・計12本 |
| 測る値 | 部品の強度 |
この表で取り違えが起きやすいのは「割り付ける相手」です。ここでは素材1本ですが、もし12本を4本ずつ3台の機械にかけ、機械ごとに速度を変えたのなら、条件を割り付けた相手は素材ではなく機械のほうです。比べられる相手は12ではなく3になり、同じ条件を繰り返した数も1台ずつに減ります。強度の測定値が12個あるからといって、12本ぶんの比較ができるわけではありません。
残る2つ、繰り返しを4本とした理由と、12本にどう速度を割り当てるかの決め方は、フィッシャーの3原則 が引き受けます。並べ方の都合で割り付けてしまったときに何が起こるかも、そちらで扱います。
次のうち、実験にあたるものはどれですか。
12本の素材を4本ずつ3台の機械にかけ、機械ごとに切削速度を低・中・高と変えて、削り上がった12本の強度を測りました。この実験で条件を割り付けた相手はどれですか。