線形回帰モデルの残差の分散共分散行列と単一データの残差の分線を導出する方法をわかりやすく解説

2025年2月22日

この記事では線形回帰モデルの残差の分散共分散行列を導出・証明する方法をわかりやすく解説します。

\begin{align*} y = X \beta + \varepsilon, \quad \varepsilon \sim N(0, \sigma^2 I)\end{align*}
という線形回帰モデルを考えます。OLS推定量$\hat \beta$による予測値を
\begin{align*} \hat y = X \hat \beta \end{align*}
と表記することにします。残差$e$を
\begin{align*} e = y – \hat y\end{align*}
で定義します。

ハット行列$H$を用いると、
\begin{align*} \hat y = H y\end{align*}
と書けるので、
\begin{align*} e = y – \hat y = (I – H)y \end{align*}
となります。
$e$の分散共分散行列を$V(e)$で表記することにすると、
\begin{align*} V(e) &= V((I – H)y) \\&= E\left( \left( (I-H)(y-E(y)) \right) \left( (I-H)(y-E(y))^t \right) \right) \\&= E\left( \left( (I-H)\varepsilon) \right) \left( (I-H)(\varepsilon) \right) ^t \right) \\&= E\left((I-H)\varepsilon \varepsilon ^t (I-H)^t \right)
\\&= (I-H) E(\varepsilon \varepsilon ^t) (I-H)^t
\\&=(I-H) \sigma^2 I (I-H)^t
\\&= \sigma^2 (I-H)(I-H)^t
\\&= \sigma^2 (I-H)(I-H)
\\&= \sigma^2 (I-H)\end{align*}
となります。

命題：各データの残差の分散

上記設定の元、残差の分散共分散行列は
\begin{align*} \simga^2 (I-H)\end{align*}
です。

第$i$成分を$e_i$と書くことにします。
$e_i$の分散は、分散共分散行列$\sigma^2 I$の第$i$対角成分です。
つまり、

命題：各データの残差の分散

上記設定の元、データ$i$の残差$e_i = y_i – \hat y_i$の分散は
\begin{align*} V(e_i) = (1 – h_{ii})\sigma^2\end{align*}
です。

となります。