• home
  • about
  • 全ての投稿
  • ソフトウェア・ハードウェアの設定のまとめ
  • 分析関連のまとめ
  • ヘルスケア関連のまとめ
  • 生涯学習関連のまとめ

クロスエントロピー

date: 2020-04-01 excerpt: クロスエントロピーついて

tag: statistics機械学習クロスエントロピー


バイアスとバリアンスについて

概要

  • 機械学習で使われる距離関数
  • ベルヌーイ分布同士を比較する関数である

定義と性質

エントロピーの定義は \(-p \log(p)\) であり、2つの確率分布の距離は \(E = - p \log(q) - (1-p) \log(1-q)\) である
式を見ると対象性がないように感じるが、実際にp, qに具体的な数値を入れて計算すると以下のようなヒートマップが得られて対象性があることがわかる

pとqが近い値ほど、0に近い値になる

google colab

  • colab

参考

  • 交差エントロピーの例と微分の計算


statistics機械学習クロスエントロピー Share Tweet