ベルマン方程式

ベルマン方程式について

タグ bellman quation ベルマン方程式

概要

  • 複雑な時系列の相互作用を持つ価値の最大化
  • 一般的に動的計画法で解決される

価値Vの定式化

\[V = \max \sum_{t} \beta^t F(x_t, a_t)\]
  • a: 戦略
  • x: 状態
  • β: 割引率

再起を定義する

\[V(x_0) = \max_{a} \{ F(x_0, a_0) + \beta V(x_1) \}\]

参考