クロスエントロピー

バイアスとバリアンスについて

概要

• 機械学習で使われる距離関数
• ベルヌーイ分布同士を比較する関数である

定義と性質

エントロピーの定義は \(-p \log(p)\) であり、２つの確率分布の距離は \(E = - p \log(q) - (1-p) \log(1-q)\) である
式を見ると対象性がないように感じるが、実際にp, qに具体的な数値を入れて計算すると以下のようなヒートマップが得られて対象性があることがわかる

pとqが近い値ほど、0に近い値になる

google colab

• colab

参考

• 交差エントロピーの例と微分の計算