• home
  • about
  • 全ての投稿
  • ソフトウェア・ハードウェアの設定のまとめ
  • 分析関連のまとめ
  • ヘルスケア関連のまとめ
  • 生涯学習関連のまとめ

確率的勾配降下法

date: 2020-03-01 excerpt: 確率的勾配降下法について

tag: statistics最適化確率的勾配降下法


確率的勾配降下法について

概要

  • 最適化の方法の一つ
  • 最急降下法のデータを全部サンプルせずmini batchをとったもので最適化する

手順

  1. 適当に一点を選ぶ
  2. mini batchをサンプルする
  3. 偏微分を計算し、降下方向を決定する
  4. ステップ幅ぶんだけ降下する
  5. 2にもどる

参考

  • 確率的勾配降下法


statistics最適化確率的勾配降下法 Share Tweet