同じデータに違う直線を当てはめても、観測された の散らばり具合そのものは変わりません。変わるのは、その散らばりのうちどれだけを直線で説明できたか、という内訳のほうです。散らばりを平均からのずれの2乗和、すなわち変動として測り、 の違いで説明できる部分と、直線ではとらえきれずに残る部分の2つに切り分けることを変動の分解といいます。以下では、この2乗和を平方和と呼びます。
まず1件ごとの 観測値と予測値 に目を向けます。 番目のデータでは、平均 からのずれを と書き直せます。第1項は予測値 が平均からどれだけ離れたか、つまり直線が説明した分で、第2項は 最小二乗法 で扱った残差です。 を足して引いただけの式ですが、これでずれの内訳が見えます。下の図は、4g の鉢についてこの3つの長さを縦線で描き分けたものです。そしてこの関係は、2乗してすべての点にわたって合計しても崩れません。
点ごとの分け方を2乗して合計すると、本来なら2つの部分を掛け合わせた項（交差項）が残るはずです。ところが最小二乗法で引いた直線では、残差の合計も、残差に予測値を掛けた合計も 0 になるため、交差項の合計はちょうど消えます。だからこそ、ずれの分解がそのまま平方和の分解として成り立ちます。
変動は 分散 とは違う量です。 は平均からのずれを2乗して足しただけで、個数では割っていません。また は観測値 とその平均だけから決まるので、どんな直線を当てはめても値は動きません。最小二乗法で切片を含む回帰直線を引いた場合は交差項が 0 になるため、 と必ず分解できます。
分けたあとは、直線の当てはまりを数値で語れるようになります。 が のどれだけを占めるかを比で表したものが 決定係数、 を と に分け、自由度とともに並べた表が 分散分析表 です。
図に描いた5つの鉢について、与えた肥料 と伸びた高さ を並べます。最小二乗法で求めた直線は 、高さの平均は cm です。
| 与えた肥料 | 1g | 2g | 3g | 4g | 5g |
|---|---|---|---|---|---|
| 伸びた高さ （cm） | 2 | 1 | 5 | 9 | 8 |
| 予測値 （cm） | 1 | 3 | 5 | 7 | 9 |
| 全体のずれ | −3 | −4 | 0 | 4 | 3 |
| 説明できる分 | −4 | −2 | 0 | 2 | 4 |
| 残差 | 1 | −2 | 0 | 2 | −1 |
下の3行はどの列でも、上の値が下2つの和になっています。たとえば 5g の鉢では です。そこで3行それぞれを2乗して合計します。全平方和は 、回帰平方和は 、残差平方和は となり、たしかに が成り立ちました。
交差項が消えることも確かめます。説明できる分と残差を列ごとに掛けると が並び、合計は 0 です。2乗和どうしを足すだけで済んだのは、この項が消えてくれたおかげです。
では、最小二乗法を使わずに引いた直線ではどうなるでしょうか。同じ平均の組を通る で計算すると、予測値は なので回帰平方和は 、残差は で残差平方和は です。合計は 30 で、全平方和の 50 に届きません。先ほどと同じように説明できる分と残差を列ごとに掛けると が並び、合計は 10 になって 0 から外れます。2乗して展開すると、この積の合計は2倍されて交差項として残るので、足りない分は です。全平方和 50 は直線を変えても同じままで、分け方だけが崩れています。
単回帰で観測値 のばらつきを平方和に分けたとき、成り立つ関係はどれですか。
ある単回帰で、全平方和が 50、回帰平方和が 40 でした。残差平方和はいくつですか。
同じデータに、最小二乗法とは別の引き方で直線を当てはめました。このとき値が変わらないものはどれですか。
単回帰で、 が表しているものはどれですか。