標準的な条件下でスコア関数の期待値が0であることの証明

この記事では、標準的な条件下でスコア関数の期待値が0であることを証明します。

まず、スコア関数を定義します。
確率変数\(X\)を、パラメータ\(\theta\)をもち、確率密度関数が\(f_X(\cdot; \theta)\)である確率変数とします。

スコア関数は、
\begin{align*} S(X; \theta ) = \partial_\theta \log f(\cdot; \theta) \end{align*}
により定義されます。

ここで、(標準的な条件)を微分と積分の順序交換ができること、と定めます。
\begin{align*} (標準的な条件) \quad \partial_\theta \int_{\mathbb R} f(x; \theta) dx = \int_{\mathbb R} \partial_\theta f(x; \theta) dx \end{align*}
このとき、次の命題が成立します。

実際に、
\begin{align*} E(S(X; \theta )) &= \int_{\mathbb R} \partial_\theta \log f(\cdot; \theta) f(x; \theta) dx
\\&= \int_{\mathbb R} \frac{\partial_\theta f(x;\theta)}{f(x;\theta)} f(x; \theta ) dx
\\&= \int_{\mathbb R} \partial_\theta f(x;\theta) dx
\\&= \partial_\theta \int_{\mathbb R} f(x;\theta) dx
\\&= \partial_\theta 1
\\&= 0\end{align*}
となり、無事に証明できました。途中で、
\begin{align*} \int_{\mathbb R} f(x;\theta) = 1\end{align*}
とあるのは、確率密度関数を\(\mathbb R\)全体で積分すると、\(1\)になるからです(何もいっていないようなもんですが)。