最小二乗法y=ax+bのa,b導出方法についてメモする

☆こんてんつ

回帰分析で用いる、最小二乗法の原理をメモする。どのようにして添え字の量（回帰係数）が導出されるかを記載。

回帰方程式
回帰係数の決定

★回帰方程式

$x$ を食べる量、 $y$ を体重として、 $y=ax+b$ とした時。これは「 $y$ の $x$ 上への回帰方程式」と呼ぶ。

ここで被験者 $i$ の体重を $Y_i$ 、食べる量を $X_i$ として、 $y=ax+b$ の形式との誤差を $\epsilon_i$ とする。さすれば、次の式が得られる。

$Y_i=aX_i+b+\epsilon_i$

★回帰係数の推定

上記の $\epsilon_i$ の影響を最小値にすることを考える。

$\begin{eqnarray} \displaystyle S&=&\sum_{i=1}^{n}\epsilon_i^2 \\ &=&\sum_{i=1}^{n} \{Y_i-(aX_i+b) \}^2 \end{eqnarray}$

微分を使って、こいつの最小値を求める。

$\begin{eqnarray} \displaystyle \frac{\partial S}{\partial a} &=& -2 \sum_{i=1}^{n} (Y_i-aX_i-b)X_i = 0 \\ \frac{\partial S}{\partial b} &=& -2 \sum_{i=1}^{n} (Y_i-aX_i-b) = 0 \end{eqnarray}$

=0の式について、それぞれ解けば、

$\begin{eqnarray} \displaystyle a &=& \frac{\sum (X_i-\overline{X})(Y_i-\overline{Y})}{\sum (X_i-\overline{X})^2}\\ b &=& \overline{Y} - a\overline{X} \end{eqnarray}$