「標本平均の標準誤差」と「回帰分析の推定値の標準誤差」と「回帰係数の推定値の標準誤差」

統計

こんてんつ

統計を学習していると、

  • 標本平均の標準誤差
  • 回帰分析の推定値の標準誤差
  • 回帰係数の推定値の標準誤差

の3通りが出てくる。混同して分かりにくいのでここにまとめてみる。

（本題の前に）標準偏差と標準誤差

本題の前に、標準偏差と標準誤差の違いを理解する必要がある。

  • 標準偏差：母集団から得られた個々のデータのバラツキを示す。
  • 標準誤差：推定量のバラツキを示す。

標本平均の標準誤差

標本平均\overline{X}の標本分布は、正規分布 N( \mu, \sigma ^ 2 / n)であるから、その標準化

\displaystyle Z = \frac{\overline{X} - \mu}{\sigma / \sqrt{n}}

は標準正規分布 N( 0,1)に従う。しかし、母分散 \sigma ^ 2は未知の場合が多いため、標本分散s ^ 2で代用したスチューデントのt統計量が用いられる。

\displaystyle t = \frac{\overline{X} - \mu}{s / \sqrt{n}}

この時、\overline{X}の標準偏差であるs / \sqrt{n}を、標本平均の標準誤差と言う。

回帰分析の推定値の標準誤差

回帰分析の推定値\hat{y _ i }の誤差分散は、

\displaystyle \hat{\sigma}^{2} = \frac{S(\boldsymbol{\hat{\theta}})}{n-q} = \frac {\sum \hat{e_ i } ^ 2}{n-q}

で推定される。これの平方根を取った\sqrt{\hat{\sigma} ^ {2}}のことを推定値\hat{y _ i }の標準誤差（s.e. : standard error of estimates）と呼び、

\displaystyle s.e. = \sqrt{ \frac {\sum \hat{e_ i } ^ 2}{n-q} }

と書く。

回帰係数の推定値の標準誤差

前項とは別に、回帰係数の推定値\hat{\beta _ i }の標準誤差について問題になることもある。これは係数によって異なるが、例えば Y = \hat{\beta _ 1 } + \hat{\beta _ 2 } Xの様な方程式においては、

\displaystyle \begin{eqnarray} && s.e.(\hat{\beta _ 1 }) = s.e. \cdot \sqrt{ \frac{\sum X_i^2}{n \sum (X_i-\overline{X})^2} } \\ && s.e.(\hat{\beta _ 2 }) = \frac{s.e.}{ \sqrt{\sum (X_i-\overline{X})^2} } \end{eqnarray}

である。これの説明はやや難解である。しかし、コンピュータのパッケージプログラムはこれを出力してくれる。これを用いて回帰係数のt検定が

\displaystyle t_i = \frac{\hat{\beta _ i } - \beta _ i } {s.e.(\hat{\beta _ i })}

を用いて実施される。

まとめ

標本平均の標準誤差は

\displaystyle SE = \frac{s}{\sqrt{n}}

回帰分析の推定値の標準誤差は

\displaystyle s.e. = \sqrt{ \frac {\sum \hat{e_ i } ^ 2}{n-q} }

回帰係数の推定値の標準誤差は

s.e.(\hat{\beta _ i }) = \mbox{コンピュータによる出力が基本}