フィッシャー情報量

/

フィッシャー情報量について

タグ フィッシャー情報量

定義

  • 対数尤度関数の微分の二乗の期待値
  1. 確率密度関数=尤度関数を定義する
  2. 対数を取る
  3. \(\theta\)に関して微分する
  4. 3の分散がフィッシャー情報量である
\[J(\theta) = E[(\frac{d}{d \theta} ln L(\theta | x) ) ^2]\]

変形することで、負の対数尤度関数の2回微分ともみなせる

\[J(\theta) = -E[\frac{d^2}{d \theta^2} ln L(\theta | x) ]\]

クラメール・ラオの不等式

  • クラメール・ラオ(Cramér–Rao)
  • 常にフィッシャー情報量よりも大きくなる
  • 有効推定量の判断基準(等しいときに有効推定量となる)
\[V[\theta] \geq J(\theta)^{-1}\]