こんにちは、DXCEL WAVEの運営者(@dxcelwave)です！
推定統計において、推定値算出で最もよく用いられる最尤法について詳しく解説します。
最尤法とは
最尤法とは、既知の観測データをもとに、そのデータが得られる確率が最大となるような母数の値を推定する手法です。推定統計では一番よく使われる推定値算出方法です。
数学的解釈
尤度関数は確率密度関数を用いて次のように示されます。
ここで、L(θ)を最大にするようなθを、標本x1〜xnから求めたものを最尤推定値、標本値を確率変数として見た場合は、最尤推定量と呼びます。
L(θ)を最大にするθを推定値とする考え方は「今起こった事象が一番確率として起こりやすい（大きい）」という捉え方に基づくものです。
以下、具体的なケーススタディを通じて最尤法の使われ方をイメージ化しましょう！
最尤推定を用いたケーススタディ
ある山の山頂を訪れた際、山頂の天気が晴れである確率をθとする。この山に5回の登山した際の実際の天気は、晴れ、晴れ、雨、雨、雨であった。この場合、θの値は何になるか最尤法で推定せよ。（なお、天気は晴れと雨の2通りしかないものとする）
最尤推定解答
L(θ)を求める
晴れの時（X=1）、雨の時（X=0）とする。Xがベルヌーイ分布に従う場合、尤度関数L(θ)は次のように表されます。
L(θ) = f(x1：θ)・f(x2：θ)・f(x3：θ)・f(x4：θ)・f(x5：θ)
L(θ) = θx1(1-θ)1-x1・θx2(1-θ)1-x2・θx3(1-θ)1-x3・θx4(1-θ)1-x4・θx5(1-θ)1-x5
L(θ) = θx1+x2+x3+x4+x5(1-θ)1-(x1+x2+x3+x4+x5)
ベルヌーイ分布とは、ベルヌーイ試行の結果を0と1（Yes/No, 成功/失敗などの2値）で表した離散確率分布を指します。
1である確率がpである場合、0である確率は1-pとなり、それぞれの確率変数は次のように表せます。
P(X=1) = p, P(X=0) =1 – p
今回の場合は、確率変数Pは確率θを用いて次のように定義しています。
P(X =1=晴れ) = θ, P(X=0=雨) = 1-θ
確率質的変数L(θ)と置くと、Xがベルヌーイ分布に従う確率変数とするとき、次のように表されます。
L(θ) = θk(1-θ)1-k
上記の計算式に対して、ケーススタディの値を代入すると、L(θ)は次のように表せます。
L(θ) = θ1+1+0+0+0(1-θ)1-(1+1+0+0+0)
L(θ) = θ2(1-θ)3
| x1 | x2 | x3 | x4 | x5 |
|---|---|---|---|---|
| 晴れ | 晴れ | 雨 | 雨 | 雨 |
| 1 | 1 | 0 | 0 | 0 |
L(θ)が最大となるθを算出
L(θ)が最大となるθは、L(θ)の微分値L'(θ)をもとに算出できます。
L'(θ) = 2θ(1-θ)3+θ2・3(1-θ)・(-1) = θ(2-5θ)(1-θ)2
L'(θ)=0（傾きゼロ)として計算すると、L(θ)が最大となるθの値が求められます。
L'(θ) = θ(2-5θ)(1-θ)2 = 0とした時、θ=0, 2/5, 1
ここで、θの取りうる範囲は0<θ<1となるため、
L(θ)を最大とするθはθ=2/5と求めることができます。
最尤法｜まとめ
ある母集団に対して、θが取りうる値毎に、母集団を表す分布モデルが存在するとします。この時、各分布モデルのもとでx1〜xnとなる同時確率の値を尤度関数L(θ)と置いています。
L(θ)を最大にするθを選定することは、母集団を表す各分布モデルの中から発現した確率を一番大きくするようなモデルを選択するということを意味します。
統計学基礎参考情報
当サイトでは統計学の学習に役立つ情報を多数配信しております。是非以下のページをご覧ください。
統計学理論
統計学基礎から現場で使える実践的な内容に至るまで幅広く情報配信
最後に
お問い合わせフォーム
上記課題に向けてご気軽にご相談下さい。
お問い合わせはこちら
