主成分分析PCA 1、PCA介绍 2、算法流程 3、理论证明——最大方差法 4、理论证明——最小均方误差法 5、特征值分解 6、应用——特征脸

2、算法流程

假设有n个样本,每个样本有d维的特征:

主成分分析PCA
1、PCA介绍
2、算法流程
3、理论证明——最大方差法
4、理论证明——最小均方误差法
5、特征值分解
6、应用——特征脸

1、通过每个样本计算各个特征的平均值,然后各个样本的特征分别减去各自的平均值:

主成分分析PCA
1、PCA介绍
2、算法流程
3、理论证明——最大方差法
4、理论证明——最小均方误差法
5、特征值分解
6、应用——特征脸

 2、计算得到协方差矩阵A:

主成分分析PCA
1、PCA介绍
2、算法流程
3、理论证明——最大方差法
4、理论证明——最小均方误差法
5、特征值分解
6、应用——特征脸

3、对A矩阵进行特征值分解,得到特征值和特征向量,按特征值从大到小排序:

 主成分分析PCA
1、PCA介绍
2、算法流程
3、理论证明——最大方差法
4、理论证明——最小均方误差法
5、特征值分解
6、应用——特征脸

4、选取前d'个作为降维后的特征值及特征向量,得到新的x'i

主成分分析PCA
1、PCA介绍
2、算法流程
3、理论证明——最大方差法
4、理论证明——最小均方误差法
5、特征值分解
6、应用——特征脸

3、理论证明——最大方差法

4、理论证明——最小均方误差法

5、特征值分解

6、应用——特征脸