主成分分析 PCA

PCA 的全称是 Principal Component Analysis，即主成分分析。它是一种常用的无监督降维方法，核心思想是：

在尽量保留数据方差信息的前提下，把高维数据投影到低维空间。

例如原始数据有 $p$ 个特征，如果这些特征之间存在相关性，就可以用更少的 $k$ 个新特征表示主要信息：

$$p\to k,k<p$$

PCA 常用于数据可视化、特征压缩、去噪、预处理等任务。

1. 样本矩阵

设一个随机变量有$p$个维度，那么第$i$个样本$a_i$可以用$p$维向量来描述：

$${\mathit{r}}_i=[a_{i1},a_{i2},\cdots ,a_{ip}]$$

样本集合有$n$个样本，每个维度的样本构成一个列向量$c$：

$${\mathit{c}}_p=\left[\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_n\end{array}\right]$$

那么就形成了$n\times p$的样本矩阵：

$$A=\left[\begin{array}{c}{\mathit{r}}_1\\ {\mathit{r}}_2\\ ⋮\\ {\mathit{r}}_n\end{array}\right]=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \dots & a_{1p}\\ a_{21}& a_{22}& \dots & a_{2p}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \dots & a_{np}\end{array}\right]=[{\mathit{c}}_1,{\mathit{c}}_2,\cdots ,{\mathit{c}}_p]$$

对每一列求均值，第$p$列的均值${\overline{a}}_p$为：

$${\overline{a}}_p=\frac{1}{n}\sum _{i=1}^n{a}_{i,p}$$

进行样本中心化，每一列的值减去该列的平均值，得到新矩阵：

$$X=[{\mathit{c}}_1-{\overline{a}}_1,{\mathit{c}}_2-{\overline{a}}_2,\cdots ,{\mathit{c}}_p-{\overline{a}}_p]$$

后续推导默认使用中心化后的样本矩阵 $X$。

2. 协方差矩阵

协方差计算公式为：

$$\text{Cov}(X,Y)=\frac{1}{n-1}\sum _{i=1}^n(X_i-\overline{X})(Y_i-\overline{Y})$$

对于$p$维变量的协方差矩阵是分别计算每个维度之间的协方差：

$$C=\left[\begin{array}{cccc}\text{Cov}({\mathit{c}}_1,{\mathit{c}}_1)& \text{Cov}({\mathit{c}}_1,{\mathit{c}}_2)& \cdots & \text{Cov}({\mathit{c}}_1,{\mathit{c}}_p)\\ \text{Cov}({\mathit{c}}_2,{\mathit{c}}_1)& \text{Cov}({\mathit{c}}_2,{\mathit{c}}_2)& \cdots & \text{Cov}({\mathit{c}}_2,{\mathit{c}}_p)\\ ⋮& ⋮& \ddots & ⋮\\ \text{Cov}({\mathit{c}}_p,{\mathit{c}}_1)& \text{Cov}({\mathit{c}}_p,{\mathit{c}}_2)& \cdots & \text{Cov}({\mathit{c}}_p,{\mathit{c}}_p)\end{array}\right]$$

协方差矩阵的每个值$C_{i,j}$表示第$i$和第$j$个维度的协方差，而对角线的值表示方差。

把协方差公式展开后，提出公共的$\frac{1}{n-1}$项，得到：

$$C=\frac{1}{n-1}\left[\begin{array}{cccc}\sum _{i=1}^n{a}_{i,1}\cdot a_{i,1}& \sum _{i=1}^n{a}_{i,1}\cdot a_{i,2}& \cdots & \sum _{i=1}^n{a}_{i,1}\cdot a_{i,p}\\ \sum _{i=1}^n{a}_{i,2}\cdot a_{i,1}& \sum _{i=1}^n{a}_{i,2}\cdot a_{i,2}& \cdots & \sum _{i=1}^n{a}_{i,2}\cdot a_{i,p}\\ ⋮& ⋮& \ddots & ⋮\\ \sum _{i=1}^n{a}_{i,p}\cdot a_{i,1}& \sum _{i=1}^n{a}_{i,p}\cdot a_{i,2}& \cdots & \sum _{i=1}^n{a}_{i,p}\cdot a_{i,p}\end{array}\right]$$

由于此时样本已经中心化，${\overline{a}}_j=0$，上述矩阵中的每个值可以写成两个列向量的内积：

$$\begin{array}{rl}\sum _{i=1}^n{a}_{i,p}\cdot a_{i,p}& =a_{1,p}\cdot a_{1,p}+a_{2,p}\cdot a_{2,p}+\cdots +a_{n,p}\cdot a_{n,p}\\ & =\left[\begin{array}{cccc}{a}_{1,p}& a_{2,p}& \cdots & a_{n,p}\end{array}\right]\times \left[\begin{array}{c}{a}_{1,p}\\ a_{2,p}\\ ⋮\\ a_{n,p}\end{array}\right]\\ & ={\mathit{c}}_p^T\cdot {\mathit{c}}_p\end{array}$$

整个矩阵可以最终化简得到：

$$\begin{array}{rl}C& =\frac{1}{n-1}\left[\begin{array}{cccc}{\mathit{c}}_1^T\cdot {\mathit{c}}_1& {\mathit{c}}_1^T\cdot {\mathit{c}}_2& \cdots & {\mathit{c}}_1^T\cdot {\mathit{c}}_p\\ {\mathit{c}}_2^T\cdot {\mathit{c}}_1& {\mathit{c}}_2^T\cdot {\mathit{c}}_2& \cdots & {\mathit{c}}_2^T\cdot {\mathit{c}}_p\\ ⋮& ⋮& \ddots & ⋮\\ {\mathit{c}}_p^T\cdot {\mathit{c}}_1& {\mathit{c}}_p^T\cdot {\mathit{c}}_2& \cdots & {\mathit{c}}_p^T\cdot {\mathit{c}}_p\end{array}\right]\\ & =\frac{1}{n-1}{X}^{T}X\end{array}$$

协方差矩阵大小为：

$$C\in {\mathbb{R}}^{p\times p}$$

也就是说，协方差矩阵描述的是特征维度之间的相关性。

3. 第一主成分

求第一主成分 PC1 的问题可以转化为：寻找一个单位方向向量 $\mathit{v}$，使所有样本投影到这个方向后的方差最大。

约束条件为：

$$\parallel \mathit{v}{\parallel }_2=1$$

第 $i$ 个样本 ${\mathit{x}}_i$ 在方向 $\mathit{v}$ 上的投影为：

$$z_i={\mathit{x}}_i\mathit{v}$$

其中 ${\mathit{x}}_i$ 是中心化后矩阵 $X$ 的第 $i$ 行。

所有样本投影后的方差为：

$$s^2=\frac{1}{n-1}\sum _{i=1}^n{z}_i^2=\frac{1}{n-1}\sum _{i=1}^n({\mathit{x}}_i\mathit{v}{)}^2$$

写成矩阵形式：

$$z=X\mathit{v}$$

因此：

$$\begin{array}{rl}{s}^2& =\frac{1}{n-1}{z}^{T}z\\ & =\frac{1}{n-1}(X\mathit{v}{)}^T(X\mathit{v})\\ & =\frac{1}{n-1}{\mathit{v}}^T{X}^{T}X\mathit{v}\\ & ={\mathit{v}}^{T}C\mathit{v}\end{array}$$

所以 PCA 的第一主成分方向可以写成优化问题：

$$\begin{array}{rl}\underset{\mathit{v}}{max}& {\mathit{v}}^{T}C\mathit{v}\\ \mathrm{s}.\mathrm{t}.& {\mathit{v}}^T\mathit{v}=1\end{array}$$

4. 求极大值问题

最终将问题转变为已知条件下的最大值问题，可以利用拉格朗日乘数法求解：

$$\begin{array}{rl}max& s^2={\mathit{v}}^{T}C\mathit{v}\\ \mathrm{s}.\mathrm{t}.& {\mathit{v}}^T\mathit{v}=1\end{array}$$

构造拉格朗日函数：

$$L(\mathit{v},\lambda )={\mathit{v}}^{T}C\mathit{v}-\lambda ({\mathit{v}}^T\mathit{v}-1)$$

对函数求偏导：

$$\frac{\partial L}{\partial \mathit{v}}=2C\mathit{v}-2\lambda \mathit{v}=0$$

最后就得到了：

$$C\mathit{v}=\lambda \mathit{v}$$

这说明，$\mathit{v}$ 是协方差矩阵 $C$ 的特征向量，$\lambda$ 是对应的特征值。

把上式带入目标函数：

$${\mathit{v}}^{T}C\mathit{v}={\mathit{v}}^T(\lambda \mathit{v})=\lambda ({\mathit{v}}^T\mathit{v})=\lambda$$

最大化目标函数就等价于最大化特征值 $\lambda$。

因此：

第一主成分方向就是协方差矩阵最大特征值对应的特征向量。

5. 多个主成分

如果需要降到 $k$ 维，就选择协方差矩阵 $C$ 最大的前 $k$ 个特征值对应的特征向量。

设这些特征向量组成矩阵：

$$W_k=\left[\begin{array}{cccc}|& |& & |\\ {\mathit{v}}_1& {\mathit{v}}_2& \cdots & {\mathit{v}}_k\\ |& |& & |\end{array}\right]\in {\mathbb{R}}^{p\times k}$$

则原始数据的低维表示为：

$$Z=X{W}_k$$

其中：

$$Z\in {\mathbb{R}}^{n\times k}$$

$Z$ 就是降维后的样本矩阵。

如果想从低维空间近似重构原始数据，可以使用：

$$\hat{X}=Z{W}_k^T$$

因为 $Z=X{W}_k$，所以：

$$\hat{X}=X{W}_k{W}_k^T$$

当 $k<p$ 时，$\hat{X}$ 只是对 $X$ 的近似重构。

6. 解释方差比

每个特征值 ${\lambda }_i$ 表示对应主成分方向上的方差大小。

如果特征值从大到小排列为：

$${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_p$$

那么第 $i$ 个主成分的解释方差比为：

$$r_i=\frac{{\lambda }_i}{\sum _{j=1}^p{\lambda }_j}$$

前 $k$ 个主成分累计解释方差比为：

$$R_k=\frac{\sum _{i=1}^k{\lambda }_i}{\sum _{j=1}^p{\lambda }_j}$$

如果 $R_k=0.95$，表示前 $k$ 个主成分保留了原始数据约 $95\mathrm{\%}$ 的方差信息。

7. PCA 与 SVD 的关系

PCA 也可以通过奇异值分解实现。对中心化矩阵 $X$ 做 SVD：

$$X=U\mathrm{\Sigma }{V}^T$$

则协方差矩阵为：

$$C=\frac{1}{n-1}{X}^{T}X$$

代入 SVD：

$$\begin{array}{rl}C& =\frac{1}{n-1}(U\mathrm{\Sigma }{V}^T{)}^T(U\mathrm{\Sigma }{V}^T)\\ & =\frac{1}{n-1}V{\mathrm{\Sigma }}^T{U}^{T}U\mathrm{\Sigma }{V}^T\\ & =V\frac{{\mathrm{\Sigma }}^T\mathrm{\Sigma }}{n-1}{V}^T\end{array}$$

因此，$V$ 中的列向量就是 PCA 的主成分方向。

对应的特征值为：

$${\lambda }_i=\frac{{\sigma }_i^2}{n-1}$$

其中 ${\sigma }_i$ 是第 $i$ 个奇异值。

实际机器学习库中，PCA 常常通过 SVD 计算，而不是显式构造协方差矩阵。这在高维数据上更加稳定。

8. PCA 的基本步骤

PCA 的完整流程可以总结为：

1. 对样本矩阵按列中心化。
2. 计算协方差矩阵 $C=\frac{1}{n-1}{X}^{T}X$。
3. 对 $C$ 做特征值分解。
4. 选择最大前 $k$ 个特征值对应的特征向量。
5. 将原始数据投影到这些方向上：

$$Z=X{W}_k$$

在实际使用中，还经常先对特征做标准化：

$$x_{ij}^{\prime }=\frac{x_{ij}-{\mu }_j}{{\sigma }_j}$$

如果不同特征量纲差异很大，例如身高、收入、年龄混在一起，标准化通常是必要的。

9. sklearn 案例代码

下面用鸢尾花数据集演示 PCA。原始数据有 4 个特征，我们将其降到 2 维，方便可视化。

import matplotlib.pyplot as plt
from sklearn.datasets import load_iris
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA


iris = load_iris()
X = iris.data
y = iris.target

# PCA 对量纲敏感，通常先标准化
X_scaled = StandardScaler().fit_transform(X)

# 降到二维
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X_scaled)

print("降维前形状:", X.shape)
print("降维后形状:", X_pca.shape)
print("解释方差比:", pca.explained_variance_ratio_)
print("累计解释方差比:", pca.explained_variance_ratio_.sum())

plt.figure(figsize=(6, 5))
for label in set(y):
    plt.scatter(
        X_pca[y == label, 0],
        X_pca[y == label, 1],
        label=iris.target_names[label],
        alpha=0.8,
    )

plt.xlabel("PC1")
plt.ylabel("PC2")
plt.title("Iris PCA")
plt.legend()
plt.tight_layout()
plt.show()

如果只想快速得到降维结果，最核心的代码是：

from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA

X_scaled = StandardScaler().fit_transform(X)
X_pca = PCA(n_components=2).fit_transform(X_scaled)

10. 小结

PCA 的本质是寻找一组新的正交坐标轴，使数据投影后的方差尽可能大。

核心公式为：

$$C=\frac{1}{n-1}{X}^{T}X$$$$C\mathit{v}=\lambda \mathit{v}$$$$Z=X{W}_k$$

其中最大特征值对应的特征向量就是第一主成分方向，前 $k$ 个最大特征值对应的特征向量组成降维投影矩阵。

PCA 的优点是简单、可解释、计算高效；缺点是只能捕捉线性结构，并且对特征尺度比较敏感。