朴素贝叶斯法

一些概率论基础

条件概率

联合概率分布描述的是多个随机变量同时取特定值的概率。对于一组随机变量$x_1,x_2,\dots ,x_n$，其联合概率分布表示为：

$$P(X_1=x_1,X_2=x_2,\cdots ,X_n=x_n)，\mathrm{或}\mathrm{简}\mathrm{写}\mathrm{为}：P(x_1,x_2,\cdots ,x_n)$$

联合概率分布

$$P(X,Y)=P(X|Y)\times P(Y)$$

贝叶斯定理

贝叶斯定理是概率论中的核心定理，描述了在观察到新证据（数据）后，如何更新对事件的先验概率（初始信念）以得到后验概率（修正后的信念）。它是贝叶斯统计和机器学习（如朴素贝叶斯分类、贝叶斯网络）的基础。

$$P(A|B)=\frac{P(B|A)\cdot P(A)}{P(B)}$$

基本方法

训练数据集：$T=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_n,y_n)\}$

先验概率分布：$P(Y=c_k),k=1,2,\cdots ,K$

条件概率分布：

$$\begin{array}{rl}P(X=x|Y=c_k)& =P(X^{(1)}=x^{(1)},X^{(2)}=x^{(2)},\cdots ,X^{(n)}=x^{(n)}|Y=c_k)\\ k& =1,2,\cdots ,K\end{array}$$

条件独立性假设：

$$\begin{array}{rl}P(X=x|Y=c_k)& =P(X^{(1)}=x^{(1)},X^{(2)}=x^{(2)},\cdots ,X^{(n)}=x^{(n)}|Y=c_k)\\ & =\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)\end{array}$$

朴素贝叶斯分类器的表示：

$$\begin{array}{rl}y=f(x)& =\frac{P(X=x|Y=c_k)\cdot P(Y=c_k)}{\sum _{k}P(X=x|Y=c_k)\cdot P(Y=c_k)}\\ & =\arg \underset{c_k}{max}\frac{P(Y=c_k)\cdot \prod _{j}P(X^{(j)}=x^{(j)}|Y=c_k)}{\sum _{k}P(Y=c_k)\cdot \prod _{j}P(X^{(j)}=x^{(j)}|Y=c_k)}\end{array}$$

去掉相同的分母，则：

$$y=f(x)=\arg \underset{c_k}{max}P(Y=c_k)\cdot \prod _{j}P(X^{(j)}=x^{(j)}|Y=c_k)$$

后验概率最大化

选择0-1损失函数：

$$L(Y,f(X))=\{\begin{array}{rl}1,& Y\ne f(X)\\ 0,& Y=f(X)\end{array}$$

期望风险函数：

$$R_{\exp }(f)=E[L(Y,f(X))]$$

条件期望：

$$R_{\exp }(f)=E_X\sum _{k=1}^K[L(c_k,f(X))]\cdot P(c_k|X=x)$$

对$X=x$逐个极小化，得到期望风险最小化：

$$\begin{array}{rl}f(x)& =\arg \underset{y\in \mathcal{Y}}{min}\sum _{k=1}^{K}L(c_k,y)P(c_k\mid X=x)\\ & =\arg \underset{y\in \mathcal{Y}}{min}\sum _{k=1}^{K}P(y\ne c_k\mid X=x)\\ & =\arg \underset{y\in \mathcal{Y}}{min}(1-P(y=c_k\mid X=x))\\ & =\arg \underset{y\in \mathcal{Y}}{max}P(y=c_k\mid X=x)\end{array}$$

得到后验概率最大化准则：

$$f(x)=\arg \underset{c_k}{max}P(c_k|X=x)$$

极大似然估计

算法实现

贝叶斯估计