固有値・固有ベクトルからPCAまでの流れ

1. 固有値・固有ベクトルとは

行列 $A$Aに対して、

$$Av=\lambda v$$Av=λv

を満たすとき、

• $\lambda$λ を 固有値（Eigenvalue）
• $v$v を 固有ベクトル（Eigenvector）

という。

意味としては、

行列 $A$Aによる変換を受けても向きが変わらず、$\lambda$λ倍に伸び縮みする特別な方向

を表す。

---

2. 固有値を求める

定義式

$$Av=\lambda v$$Av=λv

を変形する。

$$Av-\lambda v=0$$Av−λv=0 $$(A-\lambda I)v=0$$(A−λI)v=0

ここで

$$I= \begin{bmatrix} 1&0\\ 0&1 \end{bmatrix}$$I=[10​01​]

は単位行列である。

---

非ゼロベクトル

$$v\neq0$$v=0

が存在するためには、

$$\det(A-\lambda I)=0$$det(A−λI)=0

が成り立つ必要がある。

これを 特性方程式（Characteristic Equation）という。

---

特性方程式を解いて

$$\lambda_1,\lambda_2,\ldots,\lambda_n$$λ1​,λ2​,…,λn​

を得る。

これらが固有値である。

---

3. 固有ベクトルを求める

求めた固有値 $\lambda_i$λi​を

$$(A-\lambda_i I)v=0$$(A−λi​I)v=0

へ代入する。

---

すると

$$(A-\lambda_i I) \begin{bmatrix} x_1\\ x_2\\ \vdots\\ x_n \end{bmatrix} = \begin{bmatrix} 0\\ 0\\ \vdots\\ 0 \end{bmatrix}$$(A−λi​I)​x1​x2​⋮xn​​​=​00⋮0​​

という連立方程式が得られる。

---

これを解くことで

$$v_i= \begin{bmatrix} x_1\\ x_2\\ \vdots\\ x_n \end{bmatrix}$$vi​=​x1​x2​⋮xn​​​

を得る。

これが固有値 $\lambda_i$λi​に対応する固有ベクトルである。

---

4. 検算する

求めた固有値・固有ベクトルが

$$Av_i=\lambda_i v_i$$Avi​=λi​vi​

を満たすことを確認する。

---

PCAへの接続

PCAでは、固有値・固有ベクトルをそのまま使うのではなく、さらに処理を行う。

---

5. 固有ベクトルを正規化する

固有ベクトル

$$v= \begin{bmatrix} x_1\\ x_2\\ \vdots\\ x_n \end{bmatrix}$$v=​x1​x2​⋮xn​​​

の長さ（ノルム）を求める。

$$\|v\| = (x_1^2+x_2^2+\cdots+x_n^2)^{1/2}$$∥v∥=(x12​+x22​+⋯+xn2​)1/2

長さが 1 になるように、固有ベクトルをノルムで割る。

$$u = \frac{v}{\|v\|}$$u=∥v∥v​

つまり

$$u = \frac{1} {(x_1^2+x_2^2+\cdots+x_n^2)^{1/2}} \begin{bmatrix} x_1\\ x_2\\ \vdots\\ x_n \end{bmatrix}$$u=(x12​+x22​+⋯+xn2​)1/21​​x1​x2​⋮xn​​​

となる。

すると

$$\|u\| = 1$$∥u∥=1

となる。

---

正規化の意味

固有ベクトルは長さが異なっていても同じ方向を表す。

例えば

$$\begin{bmatrix} 1\\ 1 \end{bmatrix} , \quad \begin{bmatrix} 2\\ 2 \end{bmatrix} , \quad \begin{bmatrix} 100\\ 100 \end{bmatrix}$$[11​],[22​],[100100​]

はすべて同じ方向を向いている。

PCAでは固有ベクトルの「方向」だけを利用したいため、

$$u = \frac{v}{\|v\|}$$u=∥v∥v​

によって長さを 1 に揃える。

この正規化後のベクトル

$$u$$u

を 単位固有ベクトル（Unit Eigenvector）または 主成分ベクトル（Principal Component Vector）と呼ぶ。

---

6. データを準備する

データ行列を

$$X= \begin{bmatrix} -\\ x_1^T\\ -\\ x_2^T\\ -\\ \vdots\\ -\\ x_m^T\\ - \end{bmatrix}$$X=​−x1T​−x2T​−⋮−xmT​−​​

とする。

PCAでは通常、平均を引いて中心化する。

$$X_c=X-\mu$$Xc​=X−μ

---

7. 主成分得点を求める

中心化されたデータを主成分方向へ射影する。

1サンプルの場合

$$z=x^T u$$z=xTu

となる。

---

データ全体では

$$Z=X_cu$$Z=Xc​u

となる。

---

8. 主成分得点の意味

$$z=x^T u$$z=xTu

は、

データ $x$xを主成分方向 $u$uに射影した長さ

を表す。

---

つまり

$$z$$z

は

主成分軸上での座標

である。

---

9. 次元削減

元々

$$x= \begin{bmatrix} x_1\\ x_2\\ \vdots\\ x_n \end{bmatrix}$$x=​x1​x2​⋮xn​​​

という $n$n次元データだったものを、

$$z$$z

という少数の値で表現できる。

---

複数の主成分を使う場合は

$$W= \begin{bmatrix} u_1 & u_2 & \cdots & u_k \end{bmatrix}$$W=[u1​​u2​​⋯​uk​​]

を作り、

$$Z=X_cW$$Z=Xc​W

を計算する。

---

PCA全体の流れ

データ X
   ↓
中心化
   ↓
共分散行列 Σ
   ↓
固有値分解
   ↓
固有値 λ
固有ベクトル v
   ↓
正規化
   ↓
単位固有ベクトル u
   ↓
Z = XcW
   ↓
主成分得点
   ↓
次元削減後のデータ

各記号の意味

本質

PCAは、

1. 共分散行列を作る
2. 固有値分解を行う
3. 固有値が大きい固有ベクトルを選ぶ
4. その方向へデータを射影する

ことで、

「データのばらつきが最も大きい方向を見つけ、その方向上の座標でデータを表現する」

手法である。