---

adaboostについて

概要

• 弱学習機をスタッキングして学習するアルゴリズム
• スタッキング時に訓練誤差を重みとする

学習のステップ

1. 弱学習機を作る

• ブースティングなので適当なサンプルを切り取り学習用のデータセットを作る
• その中で訓練誤差(以下の式)を最小化する

$$E_k = \frac{1}{n} \sum_{i=1}^{n} \left[ y_i \neq f_k(x_i) \right]$$

2. $k$の弱学習機の結果を考慮して$k+1$の学習機を作成する

• 前回の結果を利用して弱学習機を作る
• $w_i$は$k$の弱学習木で誤分類したものが重要度が高くなるようにする

$$E_{k+1} = \sum_{i=1}^{n} w_i^{k} \left[ y_i \neq f_{k+1}(x_i) \right]$$

3. 作成した弱学習機の重みを計算する

• 弱学習機の誤差を用いて計算する

$$\alpha_k = \frac{1}{2} ln \left( \frac{1- E_k}{E_k} \right)$$

4. 1 ~ nまでの弱学習機を用いて強学習機をつくる

$$f(x) = sign \left\{ \sum_{k=1}^{n} \alpha_k f_k(x) \right\}$$

参考

• ブースティングとアダブースト（AdaBoost）について詳しく解説