同じ の値をもつデータが2件あっても、実際に測った がぴったりそろうとは限りません。ところが回帰直線は、 を入れれば1つの値を返します。この実際に測った値を観測値 、直線に を入れて計算した値を予測値 といい、1件ずつ並べて突き合わせます。突き合わせる相手は手元にあるデータに限ります。まだ観測していない への見積もりは 予測 で扱います。
並べるときに大切なのは、番号 をそろえることです。 は 番目のデータがもつ から計算した値なので、 とまったく同じ1件を指しています。2つの差 は 最小二乗法 で扱った残差で、その1件について直線が上と下のどちらへどれだけ外したかを表します。5つの巣箱について、取り付けた止まり木の本数 （本）と訪れた鳥の数 （羽）を調べ、直線 が求まったとしましょう。観測値・予測値・差を横に並べると次のようになります。
| 巣箱A | 巣箱B | 巣箱C | 巣箱D | 巣箱E | 平均 | |
|---|---|---|---|---|---|---|
| 止まり木の本数（本） | 0 | 1 | 2 | 3 | 4 | 2 |
| 観測値 （羽） | 3 | 1 | 4 | 7 | 5 | 4 |
| 予測値 （羽） | 2 | 3 | 4 | 5 | 6 | 4 |
| 差 （羽） | 1 | −2 | 0 | 2 | −1 | 0 |
巣箱Bは予測より2羽少なく、巣箱Dは2羽多い、というように、1件ごとの外し方が数値のまま読み取れます。ここで平均の列に目を向けると、予測値の平均 4 羽が観測値の平均 4 羽と一致しています。これは偶然ではありません。差の合計が必ず 0 になるため、予測値の合計は観測値の合計と等しくなり、同じ個数で割った平均もそろいます。
平均がそろうことと、1件ごとの予測が当たることは別です。表の巣箱Bと巣箱Dのように、下へ2羽・上へ2羽という外れが打ち消し合った結果として、平均だけがそろっています。差の全体の大きさを平方和として整理する方法は 変動の分解、差の並び方を図で確かめる方法は 残差プロット で扱います。
ある店で6日間、店頭に出した試食の皿数 （皿）と、その日に売れた個数 （個）を記録しました。1皿・2皿・3皿の日がそれぞれ2日ずつあります。最小二乗法で求めた直線は でした。予測値は皿数を入れるだけなので、1皿の日は 個、2皿の日は 6 個、3皿の日は 8 個となります。
| 1日目 | 2日目 | 3日目 | 4日目 | 5日目 | 6日目 | 平均 | |
|---|---|---|---|---|---|---|---|
| 試食の皿数（皿） | 1 | 1 | 2 | 2 | 3 | 3 | 2 |
| 観測値 （個） | 5 | 3 | 8 | 4 | 9 | 7 | 6 |
| 予測値 （個） | 4 | 4 | 6 | 6 | 8 | 8 | 6 |
| 差 （個） | 1 | −1 | 2 | −2 | 1 | −1 | 0 |
予測値の行は、皿数が同じ日には同じ値が並びます。予測値は だけから決まるからです。いっぽう観測値の行は、同じ2皿の日でも 8 個と 4 個で4個も違います。この違いは直線からは出てきません。差の行を見ると、3日目は 2 個上、4日目は 2 個下と、同じ予測値をはさんで反対向きに外れていたことが分かります。
平均も確かめます。観測値の合計は 、予測値の合計も で、どちらも6で割って 6 個です。差の合計は ですから、合計が一致するのは当然の結果でした。日ごとの外れが最大で2個あっても、平均のうえでは食い違いが残りません。
あるデータに回帰直線 を当てはめました。 をもつ1件の観測値が 9 だったとき、この1件の差 はいくつですか。
5件のデータに最小二乗法で回帰直線を当てはめたところ、観測値の平均は 8 でした。5件の予測値の平均について正しいものはどれですか。
同じ の値をもつ2件のデータがあります。この2件の観測値と予測値の関係として正しいものはどれですか。