感知机

感知机是最早的线性分类模型之一，适用于二分类任务。它的核心思想是寻找一个超平面，把两类样本分开。

概念详解

给定样本 $x\in R^d$，标签 $y\in \{-1,+1\}$，感知机模型为：

$$f(x)=\text{sign}(w^{T}x+b)$$

其中 $w$ 是法向量，$b$ 是偏置。分类超平面为：

$$w^{T}x+b=0$$

如果样本被正确分类，则应满足：

$$y_i(w^T{x}_i+b)>0$$

当 $y_i(w^T{x}_i+b)\le 0$ 时，说明样本被误分类，需要更新参数。

数学公式及其推导

感知机损失函数只惩罚误分类点：

$$L(w,b)=-\sum _{x_i\in M}{y}_i(w^T{x}_i+b)$$

对单个误分类样本 $(x_i,y_i)$，损失为：

$$L_i=-y_i(w^T{x}_i+b)$$

分别对 $w$ 和 $b$ 求梯度：

$$\frac{\partial L_i}{\partial w}=-y_i{x}_i,\frac{\partial L_i}{\partial b}=-y_i$$

使用梯度下降：

$$w\leftarrow w+\eta y_i{x}_i,b\leftarrow b+\eta y_i$$

这就是感知机的更新规则。

应用代码

import numpy as np

class Perceptron:
    def __init__(self, lr=0.1, epochs=100):
        self.lr = lr
        self.epochs = epochs

    def fit(self, X, y):
        self.w = np.zeros(X.shape[1])
        self.b = 0.0
        for _ in range(self.epochs):
            errors = 0
            for xi, yi in zip(X, y):
                if yi * (np.dot(self.w, xi) + self.b) <= 0:
                    self.w += self.lr * yi * xi
                    self.b += self.lr * yi
                    errors += 1
            if errors == 0:
                break

    def predict(self, X):
        return np.where(X @ self.w + self.b >= 0, 1, -1)

X = np.array([[2, 1], [1, 3], [2, 4], [-1, -2], [-2, -1], [-3, -2]])
y = np.array([1, 1, 1, -1, -1, -1])

model = Perceptron()
model.fit(X, y)
print(model.w, model.b)
print(model.predict(X))

小结

感知机只能处理线性可分数据，但它给出了“线性变换 + 激活函数 + 参数更新”的基本形式，是理解神经网络的起点。