この記事では、擬似逆行列によるハット行列の定義は適切に直交射影であることを解説
最初に擬似逆行列の定義を確認しておきます。
\(A\)を\(n\times m\)(複素)行列とする。\(m\times n\)(複素)行列\(A^+\)で
\begin{align*}A A^+ A &= A \\ A^+ A A^+ &= A^+ \\ \left(A A^+ \right)^\dagger &= A A^+ \\ \left(A^+ A \right)^\dagger &= A^+ A\end{align*}
を満たすものを、\(A\)の擬似逆行列という。ただし\({A}^\dagger\)は\(A\)の共役転置です(つまり、転置して複素数は共役な複素数に置き換えたもの)。
Moore-Penrose逆行列や一般化逆行列ともいいます。
実数の場合には共役転置は単なる転置です。
線形回帰モデル
\begin{align*} y = X \beta + \varepsilon \end{align*}
において、
\begin{align*} H = X(X^t X)^{-1}X \end{align*}
をハット行列といいます。
しかし、\(X\)が退化している場合(つまり、フルランクでない場合)は
\begin{align*} X^t X \end{align*}
が正則でないため、逆行列
\begin{align*} (X^t X)^{-1} \end{align*}
が存在しません。
そこで、これを擬似逆行列に置き換えたとしても、ハット行列に要請する性質をもつのかを確認しましょう。
つまり、\(\text{im}X\)への直交射影であるかを確認しましょう。
\(X\)を\(n\times m\)行列とする。
\begin{align*} H = X(X^t X)^{+} X^t\end{align*}
により定義される行列は、\(\text{im} m(X)\)への直交射影である。
任意の\(v \in \mathbb R^n\)に対して\(Hv \in \text{im} X\)であることは明らかです。
\begin{align*} H^2 = H, \quad H^t = H \end{align*}
を確認しましょう。
\begin{align*}H^2 = X(X^t X)^{+} X^t X(X^t X)^{+} X^t = X (X^t X)^{+} X^t = H \end{align*}
なので確かに冪等性を満たします。また、
\begin{align*} H^t = \left(X(X^t X)^{+} X^t \right)^t = X(X^t X)^{+} X^t = H \end{align*}
であることから、対称性も満たすことが確認できました。
コメント