DDPM 公式推导

DDPM（Denoising Diffusion Probabilistic Model）把生成过程拆成两个马尔可夫链：前向过程逐步加噪，反向过程逐步去噪。

前向扩散过程

给定真实数据 $x_0$，前向过程定义为：

$$q(x_t|x_{t-1})=\mathcal{N}(x_t;\sqrt{1-{\beta }_t}{x}_{t-1},{\beta }_{t}I)$$

记：

$${\alpha }_t=1-{\beta }_t,{\overline{\alpha }}_t=\prod _{s=1}^t{\alpha }_s$$

递推可得直接从 $x_0$ 采样 $x_t$ 的公式：

$$q(x_t|x_0)=\mathcal{N}(x_t;\sqrt{{\overline{\alpha }}_t}{x}_0,(1-{\overline{\alpha }}_t)I)$$

因此：

$$x_t=\sqrt{{\overline{\alpha }}_t}{x}_0+\sqrt{1-{\overline{\alpha }}_t}ϵ,ϵ\sim \mathcal{N}(0,I)$$

反向去噪过程

模型学习反向分布：

$$p_{\theta }(x_{t-1}|x_t)=\mathcal{N}(x_{t-1};{\mu }_{\theta }(x_t,t),{\mathrm{\Sigma }}_{\theta }(x_t,t))$$

DDPM 常让神经网络预测噪声 ${ϵ}_{\theta }(x_t,t)$，再由噪声还原均值：

$${\mu }_{\theta }(x_t,t)=\frac{1}{\sqrt{{\alpha }_t}}(x_t-\frac{{\beta }_t}{\sqrt{1-{\overline{\alpha }}_t}}{ϵ}_{\theta }(x_t,t))$$

训练损失可简化为噪声预测误差：

$$L_{simple}=E_{t,x_0,ϵ}[||ϵ-{ϵ}_{\theta }(x_t,t)|{|}^2]$$

推导直觉

由前向采样公式：

$$x_t=\sqrt{{\overline{\alpha }}_t}{x}_0+\sqrt{1-{\overline{\alpha }}_t}ϵ$$

可以解出：

$$x_0=\frac{x_t-\sqrt{1-{\overline{\alpha }}_t}ϵ}{\sqrt{{\overline{\alpha }}_t}}$$

真实噪声 $ϵ$ 不可直接用于推理，所以训练网络预测 ${ϵ}_{\theta }$。只要噪声预测准确，就能逐步把 $x_t$ 还原到更干净的 $x_{t-1}$。

应用代码

import torch

T = 1000
betas = torch.linspace(1e-4, 0.02, T)
alphas = 1.0 - betas
alpha_bar = torch.cumprod(alphas, dim=0)

def q_sample(x0, t, noise=None):
    if noise is None:
        noise = torch.randn_like(x0)
    a_bar = alpha_bar[t].view(-1, 1, 1, 1)
    return torch.sqrt(a_bar) * x0 + torch.sqrt(1 - a_bar) * noise

def ddpm_loss(model, x0):
    b = x0.size(0)
    t = torch.randint(0, T, (b,), device=x0.device)
    noise = torch.randn_like(x0)
    xt = q_sample(x0, t, noise)
    pred_noise = model(xt, t)
    return ((noise - pred_noise) ** 2).mean()

小结

DDPM 的关键在于：前向过程有解析加噪公式，反向过程用神经网络预测噪声。训练时模型只需学习“给定带噪图像和时间步，噪声是多少”。