简单神经网络模型

神经网络可以看作由大量可学习的线性变换和非线性函数组成的函数逼近器。与传统机器学习相比，神经网络更强调从原始数据中自动学习特征。

基本形式

单层神经元的计算为：

$$z=w^{T}x+b,a=\sigma (z)$$

多层网络将多个变换串联：

$$h^{(l)}=\sigma (W^{(l)}{h}^{(l-1)}+b^{(l)})$$

其中 $h^{(0)}=x$。训练目标通常是最小化损失函数：

$${\theta }^{\text{*}}=\arg \underset{\theta }{min}\frac{1}{N}\sum _{i=1}^{N}L(f_{\theta }(x_i),y_i)$$

本章内容

• 前馈神经网络：最基础的全连接网络结构。
• 卷积神经网络：面向图像和局部结构数据的特征提取模型。
• 循环神经网络：面向序列数据的状态递推模型。

这三类模型分别对应“普通表格特征、网格结构数据、序列数据”的典型处理方式。