幾何分布の最尤推定量の導出をわかりやすく解説

幾何分布\(Geom(p)\)のパラメータ\(p\)の最尤推定量(MLE)を\(\hat p\)で表記することにすると、
\begin{align*} \hat p = \frac{1}{\bar x + 1} \end{align*}
です。この記事ではそのことを解説します。
幾何分布の確率質量関数は
\begin{align*} P(X = x) = (1- p)^x p\end{align*}
です（ただし、\(x \in \mathbb N\)です）。なので、\(n\)個の観測データ
\begin{align*} x_1, \ldots, x_n \end{align*}
が得られた時、尤度関数は
\begin{align*} L(p) = (1- p)^{\sum_i x_i } p^n \end{align*}
となるので、対数尤度は
\begin{align*} \log L(p) = \left(\sum_i x_i \right) \log{(1-p)} + n \log p \end{align*}
となります。
対数尤度を\(p\)について微分すると、
\begin{align*} \partial_p \log L(p) = – \frac{\sum_i x_i }{1 – p} + n \frac{1}{p }\end{align*}
なので、対数尤度の臨界点は、
\begin{align*} – \frac{\sum_i x_i }{1 – p} + n \frac{1}{p } = 0 \end{align*}
を解くとよいとわかります。少し変形していきましょう。
\begin{align*} \left(\sum_i x_i \right) p = n (1 – p) \end{align*}
なので、
\begin{align*} p = \frac{n}{\sum_i x_i + n }\end{align*}
です。分母分子をともに\(n\)で割ることで、
\begin{align*}p = \frac{1}{ \bar x + 1 } \end{align*}
であることが分かりました。