离散扩散模型

离散变量的概率分布

$\text{Cat}(x,p)$表示离散随机变量$x$服从以向量$p$为概率参数的类别分布，即离散随机变量$x$取某个类别值的概率和$p$有关，例如：

有离散随机变量$x,x\in [1,2,3,4]$四个类别，取某个类别的概率是$p=[0.25,0.25,0.25,0.25]$，这里$p$是均匀分布，也就是$x$取类别1、2、3、4的概率都是0.25

注意到，随机变量$x$只能取有限个离散值（类别索引），不能取连续值，且$p$的概率和为1，每个类别的概率是互斥的。

离散扩散

离散情况下，对于有$K$个类别的类别的标量离散随机变量$x_t,x_{t-1}\in [1,K]$，前向转移概率可以表示成矩阵$[Q_t{]}_{i,j}=q(x_t=j|x_{t-1}=i)$, 其中矩阵中的每一个元素$Q_{i,j}$代表从状态 $i$到状态$j$的概率。

$$Q_t=\left[\begin{array}{cccc}{x}_{0,0}& x_{0,1}& \dots & x_{0,K}\\ x_{1,0}& x_{1,1}& \dots & x_{1,K}\\ ⋮& ⋮& \ddots & ⋮\\ x_{K,0}& x_{K,1}& \dots & x_{K,K}\end{array}\right]$$

例如，矩阵的第一行表示$x_{t-1}=0$类别0时，$x_t$属于各类别的概率$[x_{0,0},x_{0,1},\cdots ,x_{0,K}]$，这时所有概率值相加必须为1

用条件概率$q(x_t|x_{t-1})$表示$x_{t-1}$已知的情况下，$x_t$的概率分布：

$$q(x_t|x_{t-1})=\text{Cat}(x_t;p=x_{t-1}{Q}_t)$$

此时的$x_{t-1}$是独热编码向量$[0,0,1,\cdots ,0]$，第$i$个类别索引是1，其余为0，那么$p$的取值就是转移矩阵的第$i$行：

$$p=[0,0,1,\cdots ,0]\times \left[\begin{array}{cccc}{x}_{0,0}& x_{0,1}& \dots & x_{0,K}\\ x_{1,0}& x_{1,1}& \dots & x_{1,K}\\ ⋮& ⋮& \ddots & ⋮\\ x_{K,0}& x_{K,1}& \dots & x_{K,K}\end{array}\right]=[x_{i,0},x_{i,1},\cdots ,x_{i,K}]$$

这样$q(x_t|x_{t-1})$就描述了此时的$x_t$所属的类别概率。

一步加噪

和连续扩散一样，在前向加噪过程中需要根据选择加噪的时间步$t$，从初始值$x_0$一步得到加噪后样本$q(x_t|x_0)$，因为离散扩散的前向过程满足马尔可夫性，即$x_t$仅依赖上一步的$x_{t-1}$，与更早的状态无关，即：

$$q(x_t|x_0)=\prod _{i=1}^{t}q(x_i|x_{i-1})=q(x_t|x_{t-1})\cdot q(x_t-1|x_{t-2})\cdots q(x_1|x_0)$$

如果用转移矩阵的形式表示，则$q(x_1|x_0)$为：

$$q(x_1|x_0)=\text{Cat}(x_1;p_1=x_0{Q}_1)$$

条件概率$q(x_2 | x_1) $可以转换为：

$$q(x_2|x_1)=\text{Cat}(x_2;p_2=x_1{Q}_2)=\text{Cat}(x_2;p_2=x_0{Q}_1{Q}_2)$$

推广到第$x_t$步：

$$q(x_t|x_0)=\text{Cat}(x_t;p=x_0{\bar{Q}}_t),{\bar{Q}}_t=Q_1{Q}_2\cdots Q_t$$

公式描述了原始样本$x_0$与$t$个累计概率转移矩阵相乘，得到加噪样本$x_t$，它将作为输入模型的数据，需要模型根据含噪样本预测噪声/$x_{t-1}$的分布。

反向去噪

根据贝叶斯定理，可以得到已知当前含噪样本$x_t$和初始样本$x_0$时，前一步样本$x_{t-1}$的概率分布：

$$q(x_{t-1}|x_t,x_0)=\frac{q(x_t|x_{t-1},x_0)\cdot q(x_{t-1}|x_0)}{q(x_t|x_0)}$$

离散扩散的前向过程满足马尔可夫性：$x_t$仅依赖上一步的$x_{t-1}$，与更早的$x_0$无关，即：$q(x_t|x_{t-1},x_0)=q(x_t|x_{t-1})$，这式公式可以变成：

$$q(x_{t-1}|x_t,x_0)=\frac{q(x_t|x_{t-1})\cdot q(x_{t-1}|x_0)}{q(x_t|x_0)}$$

把前面得出的公式代入分子分母中得到，分母项：$q(x_t|x_0)=\text{Cat}(x_t;p=x_0{\bar{Q}}_t)$；分子第二项：$q(x_{t-1}|x_0)=\text{Cat}(x_{t-1};p=x_0{\bar{Q}}_{t-1})$

但是在分子第一项中$q(x_t|x_{t-1})$，$x_{t-1}$是未知项，$x_t$是已知项，这里不能用单步转移公式代换。不过，此式描述$t-1$到$t$的转移概率，也就是$x_{t-1}$到已知状态$x_t$的概率分布，$Q_t^T$的第$k$行等价于$Q_t$的第$k$列，也就是$q(x_t|x_{t-1})=x_t{Q}_t^T$。

最终把三个式子带入分子分母，得到：

$$q(x_{t-1}|x_t,x_0)=\text{Cat}(x_{t-1};p=\frac{x_t{Q}_t^T\odot x_0{\bar{Q}}_{t-1}}{x_0{\bar{Q}}_t{x}_t^T})$$