再生核ヒルベルト空間のデルタ関数による特徴づけ

再生核ヒルベルト空間（Reproducing Kernel Hilbert Space、RKHS）は、数学や統計学、機械学習、特にサポートベクターマシンやカーネル法などの分野で広く活用されています。この空間は、特定の性質を持つ核を備えたヒルベルト空間であるという意味で、特別です。

再生核ヒルベルト空間の特徴付けについて説明します。

再生核ヒルベルト空間のデルタ関数による特徴づけ

まずは再生核ヒルベルト空間を定義しましょう。一番覚えやすい定義を採用することにします。

ここで、\(\delta_x\) は\(\delta_x f = f(x)\) で定義される線型写像です。

ヒルベルト空間\(\mathcal H\) の内積を\(\langle \cdot, \cdot \rangle\) でかき、その内積が定めるノルムを\(|| \cdot ||_{\mathcal H}\) で書くことにします。

次の基本的な事実が成り立つことを確認しておきましょう。

実際、

\begin{align*}| f_n (x) – f (x) | = |\delta_x f_n – \delta_x f| \leq ||\delta_x || || f_n – f||_{\mathcal H} \end{align*}

であるのでこれが成り立ちます。

ヒルベルト空間の再生核とは

ここでも、ヒルベルト空間 \(\mathcal{H}\) を \(X\) 上の実数値関数の集合とします。

\(k: X \times X \rightarrow \mathbb{R}\) で以下の(1)(2)の条件を満たすものを、\(\mathcal{H}\) の再生核といいます。

再生核が存在するとき、\(\mathcal{H}\) は再生核を持つといいます。

再生核ヒルベルト空間の再生核による特徴づけ

ヒルベルト空間が再生核ヒルベルト空間であることと、再生核をもつことは同値です。

つまり以下の命題が成り立ちます。

\((\Rightarrow)\)。任意に\(x \in \mathcal H\) をとります。\(\delta_x\) は有界線型作用素なので、Rieszの表現定理により\(\varphi_{\delta_x} \in \mathcal{H}\) で

\begin{align*} \langle \varphi_{\delta_x} , f \rangle \quad (\forall f \in \mathcal H) \end{align*}

を満たすものが存在します。そこで、\(k\)を

\begin{align*} k(y, x) = \varphi_{\delta_x}(y) \quad (\forall y \in X) \end{align*}

と定めると、任意の\(f \in \mathcal H\) に対して、

\begin{align*}\langle f, k(\cdot, x) \rangle = \langle f, \varphi_{\delta_x} \rangle = \delta_x f = f(x) \end{align*}

が成り立ちます。 というわけで\(k\) という再生核が存在することが示されました。

\((\Leftarrow)\)。 \(k\) を再生核とする。任意の \(x \in X\) に対して、

\begin{align*}\| \delta_x f \| = \langle f, k(\cdot, x) \rangle \leq \langle k(\cdot, x), k(\cdot, x) \rangle^{\frac{1}{2}} \| f \| = k(x, x)^{\frac{1}{2}} \| f \| \end{align*}

が成り立つので、$\delta_x$ は有界であることがわかります。つまり、\(\mathcal H\) はRKHSであることが示されました。