線形回帰モデルにおいて全要素が1のベクトルがハット行列の不動点であることの証明

この記事では線形回帰モデルにおいて全要素が1のベクトルがハット行列の不動点であることの証明をします。
全要素が1のベクトルを
\begin{align*} e = (1, 1, \ldots, 1 )^t \in \mathbb R^n\end{align*}
で表記します。線形回帰モデルを
\begin{align*} y = X \beta + \varepsilon \end{align*}
とします。
ハット行列とは、
\begin{align*} H = X (X^t X)^{-1}X^t \end{align*}
により定義される行列でした。
ここで主張は、

です。実際にこのことを確かめてみましょう。
\begin{align*} X \end{align*}
の1列目はずばり\(e\)そのものです。
\begin{align*} e_1 = (1, 0, \ldots, 0)^t \in \mathbb R^n\end{align*}
という第1成分のみ1で他が全て0のベクトルを用意します。
すると、
\begin{align*} e = X e_1 \end{align*}
であることがわかります。
すると、
\begin{align*} He = X (X^t X)^{-1}X^t X e_1 = Xe_1 = e\end{align*}
となるので、証明が終了します。