自由度調整済み決定係数の定義と意味を理解

☆こんてんつ

自由度調整済み決定係数の定義と意味を確認する。ノーマルな決定係数の詳細については、下記の記事を参考。

contents-open.hatenablog.com

★概要

ノーマルな決定係数は説明変数の数を増やせば増やすほど1に近づいてしまう。そこで、説明変数の数が多い場合、この問題を補正した「自由度調整済み決定係数」（自由度修正済み決定係数）を使う。

★ノーマルな決定係数 $R^{2}$ の定義

$\begin{eqnarray} R^2&=& 1-\frac{RSS}{TSS} = \frac{ESS}{TSS}　\\ &=& 1-\frac{\sum ({\hat{Y}_i}-\overline{Y})^{2}}{\sum (Y_i-\overline{Y})^{2}} = \frac{\sum (Y_i-{\hat{Y}_i})^{2}}{\sum (Y_i-\overline{Y})^{2}} \end{eqnarray}$

この式が意味するところは、「 $X_i$ が $Y_i$ を完全に説明している時、すべての $i$ で $RSS=0, ESS=1$ であり $R^{2}=1$ となる。逆に、 $X_i$ が $Y_i$ を全く説明できない時、すべての $i$ で $RSS=1, ESS=0$ であり $R^{2}=0$ となる。」

★自由度調整済み決定係数 $R_{f}^{2}$ の定義

$\begin{eqnarray} R^2 = 1-\frac { \frac{\sum ({\hat{Y}_i}-\overline{Y})^{2}}{n-k}} {\frac{\sum (Y_i-\overline{Y})^{2}}{n-1}} = \frac {\frac{\sum (Y_i-{\hat{Y}_i})^{2}}{n-k}} {\frac{\sum (Y_i-\overline{Y})^{2}}{n-1}} \end{eqnarray}$