Logistic回归

Logistic分布函数

sigmoid函数：$S(x)=\frac{1}{1+e^x}$

基于sigmoid函数，得到服从Logistic分布的连续随机变量$X$的概率分布函数和概率密度函数：

$$\begin{array}{rl}F(x)& =P(X⩽x)=\frac{1}{1+e^{(x-\mu )/\gamma }}\\ f(x)& =F^{\prime }(x)=\frac{e^{-(x-\mu )/\gamma }}{\gamma (1+e^{-(x-\mu )/\gamma }{)}^2}\end{array}$$

分布函数$F(x)$满足以点$(\mu ,\frac{1}{2})$中心对称：

$$F(-x+\mu )-\frac{1}{2}=-F(x+\mu )+\frac{1}{2}$$

二项Logistic回归模型

$$\begin{array}{rl}P(Y=1|x)& =\frac{\exp (\omega \cdot x+b)}{1+\exp (\omega \cdot x+b)}\\ P(Y=0|x)& =\frac{1}{1+\exp (\omega \cdot x+b)}\end{array}$$

事件的几率表示为事件发生的概率与不发生的概率的比值$\frac{p}{1-p}$，其对数几率表示为：

$$logit(p)=\log \frac{p}{1-p}$$

将Logistic回归的公式代入，得到他的对数几率：

$$\begin{array}{rl}\log \frac{P(Y=1|x)}{1-P(Y=1|x)}& =\log \frac{P(Y=1|x)}{P(Y=0|x)}\\ & =\log [\frac{\exp (\omega \cdot x+b)}{1+\exp (\omega \cdot x+b)}\times 1+\exp (\omega \cdot x+b)]\\ & =\log \exp (\omega \cdot x)\\ & =\omega \cdot x\end{array}$$

模型参数估计

设：$P(Y=1|x)=\pi (x),P(Y=0|x)=1-\pi (x)$

似然函数为：$\prod _{i=1}^N[\pi (x_i){]}^{y_i}\times [1-\pi (x_i){]}^{1-y_i}$

对数似然函数：

$$\begin{array}{rl}L(\omega )& =\sum _{i=1}^N[y_i\log \pi (x_i)+(1-y_i)\log (1-\pi (x_i))]\\ & =\sum _{i=1}^N[y_i\log \frac{\pi (x_i)}{1-\pi (x_i)}+\log (1-\pi (x_i))]\\ & =\sum _{i=1}^N[y_i(\omega \cdot x_i)-\log (1+\exp (\omega \cdot x_i))]\end{array}$$

对$L(\omega )$求极大值，得到$\omega$的估计值$\hat{\omega }$，学习到的模型为：

$$\begin{array}{rl}P(Y=1|x)& =\frac{\exp (\hat{\omega }\cdot x+b)}{1+\exp (\omega \cdot x+b)}\\ P(Y=0|x)& =\frac{1}{1+\exp (\hat{\omega }\cdot x+b)}\end{array}$$