---

分散共分散行列について

前提となる知識

• 主成分分析は共分散分散行列の対角化である

共分散

• 2つの2要素間の共分散

\[\sigma_{ij} = E[(X_i - \mu_i)(X_j - \mu_j)]\]

これをすべての要素について行列で表現すると

\[\Sigma = E[(X - \mu)(X-\mu)^T]\]

無相関化の導出

\(\Sigma\)の直交行列\(P\)として\(X\)を変換すると

\[E[(PX - P\mu)(PX - P\mu)^T] = P^T \Sigma P = D\]

となり、対角行列が導かれるので、非対角行列がすべて0になる

分散共分散行列Σの定義

• 共分散をベクトルに拡張したもの

\[\sum = \left(\begin{array}{c}E[(X_1-\mu_{1})(X_1-\mu_{1})], ...\\ E[(X_2-\mu_{2})(X_1-\mu_{1})],... \\ E[(X_3-\mu_{3})(X_1-\mu_{1})],... \end{array}\right)\]

不偏分散行列Sの定義

\[S = \frac{1}{n-1} \sum_{i=1}^{n} (x_i - \bar{x_i}) (x_i - \bar{x_i})^T\]