多項式カーネルの性質・半正定値性や一次独立性の証明をわかりやすく解説

多項式カーネルが半正定値であることの証明

$\mathbb{R}\times \mathbb{R}$ 上の関数を

$$\begin{array}{r}k(x,y)=1+xy+x^2{y}^2+\cdots +x^d{y}^d\end{array}$$

により定めます。多項式によって定まるカーネルの一種です。この関数が二つの変数に関して対称であることは明らかでしょう。

半正定値性の定義

対称な実数値関数は、任意の$\lambda :\mathbb{R}\to \mathbb{R}$ で

$$\begin{array}{r}\mathrm{\#}\{x\in \mathbb{R}\mid \lambda (x)\ne 0\}<+\mathrm{\infty }\end{array}$$

であるものに対して、

$$\begin{array}{r}\sum _{(x,y)\in \mathbb{R}\times \mathbb{R}}\lambda (x)\lambda (y)k(x,y)\ge 0\end{array}$$

であるときに、半正定値であるといいます。$\lambda$ は条件から$0$でないところが有限個しかないことから総和は有限和となります。

半正定値性の証明

実際、任意に$\lambda :\mathbb{R}\to \mathbb{R}$ で

$$\begin{array}{r}\mathrm{\#}\{x\in \mathbb{R}\mid \lambda (x)\ne 0\}<+\mathrm{\infty }\end{array}$$

であるものをとります。

$$\begin{array}{rl}\sum _{(x,y)\in \mathbb{R}\times \mathbb{R}}\lambda (x)\lambda (y)k(x,y)& =\sum _{(x,y)\in \mathbb{R}\times \mathbb{R}}\lambda (x)\lambda (y)(1+xy+x^2{y}^2+\cdots +x^d{y}^d)\\ & ={(\sum _{x\in \mathbb{R}}\lambda (x)(1+x+x^2+\dots x^d))}^2\\ & \ge 0\end{array}$$

一次独立性

$y_1,\dots ,y_{d+1}\in \mathbb{R}$ を異なる$d+1$個の点とすると、

$$\begin{array}{r}k(\cdot ,y_1),k(\cdot ,y_2),\dots ,k(\cdot ,y_{d+1})\end{array}$$

は一次独立です。なぜなら、

$$\begin{array}{r}{\partial }_x^{m}k(x,y)=m!y^m+\cdots +d(d-1)\cdots (d–m)x^{d-m}{y}^d\end{array}$$

であることから、

$$\begin{array}{r}{\partial }_x^{m}k(0,y)=m!y^m\end{array}$$

であるので、$0$におけるロンスキー行列は

$$\begin{array}{r}W(0)=\left(\begin{array}{cccc}1& 1& \dots & 1\\ y_1& y_2& \cdots & y_{d+1}\\ 2y_1^2& 2y_2^2& \cdots & 2y_{d+1}^2\\ ⋮& ⋮& \cdots & ⋮\\ d!y_1^d& d!y_2^d& \cdots & d!y_{d+1}^d\end{array}\right)\end{array}$$

となります。$y_1,\dots ,y_{d+1}\in \mathbb{R}$ が全て異なることから、この行列の列ベクトルは一次独立です。従って、ロンスキー行列は$0$ において正則です。このことは即ち、$k(\cdot ,y_1),k(\cdot ,y_2),\dots ,k(\cdot ,y_{d+1})$ が一次独立であることを意味しています。