決定係数R^2の導出（回帰変動、残差変動、全変動より）

☆コンテンツ

決定係数 $R^{2}$ の導出方法を述べる。回帰変動、残差変動、全変動の二乗和を用いて導出する。

★３つの変動の二乗和について

回帰変動(Explained Sum of Squares, ESS)

回帰方程式 $Y_i=aX_i+b+\epsilon_i$ により $X_i$ で説明できる変動

残差変動(Residuals Sum of Squares, RSS)

回帰方程式に定められた回帰値 $Y_i$ からのずれで、 $X_i$ で説明されずに残った変動
回帰残差とも言う

全変動(Total Sum of Squares, TSS)

回帰方程式で説明できる変動と説明できない変動の２つの和で与えられる
総変動, 総和変動とも言う

図でイメージすると次のようになる。

式で与えると次のようになる。

$\begin{eqnarray} ESS=\sum_{i=1}^{n} ({\hat{Y}_i}-\overline{Y})^{2} \\ RSS=\sum_{i=1}^{n} (Y_i-{\hat{Y}_i})^{2} \\ TSS=\sum_{i=1}^{n} (Y_i-\overline{Y})^{2} \end{eqnarray}$

★決定係数 $R^{2}$ の導出

回帰変動、残差変動、全変動の間には次の関係が成立する。（証明は省略）

$\begin{eqnarray} &&TSS = ESS + RSS \\ &&\sum_{i=1}^{n} (Y_i-\overline{Y})^{2} = \sum_{i=1}^{n} ({\hat{Y}_i}-\overline{Y})^{2} + \sum_{i=1}^{n} (Y_i-{\hat{Y}_i})^{2} \end{eqnarray}$

両辺を $\sum (Y_i-\overline{Y})^{2}$ で割って、

$\begin{eqnarray} 1=\frac{\sum ({\hat{Y}_i}-\overline{Y})^{2}}{\sum (Y_i-\overline{Y})^{2}} + \frac{\sum (Y_i-{\hat{Y}_i})^{2}}{\sum (Y_i-\overline{Y})^{2}} \end{eqnarray}$

この式を変形して、

$\begin{eqnarray} R^2 &\equiv& 1-\frac{\sum ({\hat{Y}_i}-\overline{Y})^{2}}{\sum (Y_i-\overline{Y})^{2}} = \frac{\sum (Y_i-{\hat{Y}_i})^{2}}{\sum (Y_i-\overline{Y})^{2}} \\ &=& 1-\frac{RSS}{TSS} = \frac{ESS}{TSS} \end{eqnarray}$

この式が意味するところは、「 $X_i$ が $Y_i$ を完全に説明している時、すべての $i$ で $RSS=0, ESS=1$ であり $R^{2}=1$ となる。逆に、 $X_i$ が $Y_i$ を全く説明できない時、すべての $i$ で $RSS=1, ESS=0$ であり $R^{2}=0$ となる。」