高斯混合模型

高斯混合模型（Gaussian Mixture Model, GMM）用多个高斯分布的加权和描述复杂数据分布。它常用于聚类、密度估计和异常检测。

概念详解

$$p(x)=\sum _{k=1}^K{\pi }_k\mathcal{N}(x|{\mu }_k,{\mathrm{\Sigma }}_k)$$

其中 ${\pi }_k$ 是混合系数，满足 $\sum _k{\pi }_k=1$；${\mu }_k$ 是均值；${\mathrm{\Sigma }}_k$ 是协方差矩阵。

数学公式及其推导

多元高斯分布为：

$$\mathcal{N}(x|\mu ,\mathrm{\Sigma })=\frac{1}{(2\pi {)}^{d/2}|\mathrm{\Sigma }{|}^{1/2}}\exp [-\frac{1}{2}(x-\mu {)}^T{\mathrm{\Sigma }}^{-1}(x-\mu )]$$

E 步计算后验责任度：

$$\text{gamma\_{ik}= frac{pi\_kmathcal{N}(x\_i|mu\_k,Sigma\_k)} sum\_{j=1}^{K}pi\_jmathcal{N}(x\_i|mu\_j,Sigma\_j)}}$$

M 步更新参数：

$$N_k=\sum _i{\gamma }_{ik},{\pi }_k=\frac{N_k}{N}$$$${\mu }_k=\frac{1}{N_k}\sum _i{\gamma }_{ik}{x}_i$$$${\mathrm{\Sigma }}_k=\frac{1}{N_k}\sum _i{\gamma }_{ik}(x_i-{\mu }_k)(x_i-{\mu }_k{)}^T$$

应用代码

from sklearn.datasets import make_blobs
from sklearn.mixture import GaussianMixture

X, _ = make_blobs(n_samples=300, centers=[[-2, -2], [2, 2], [0, 4]], random_state=0)

gmm = GaussianMixture(n_components=3, covariance_type="full", random_state=0)
gmm.fit(X)

print(gmm.means_)
print(gmm.predict_proba(X[:5]))

小结

GMM 可以看作软聚类模型：一个样本不是绝对属于某个簇，而是以不同概率属于多个高斯成分。它的训练通常依赖 EM 算法。