宏观视角-分布的演化 生成模型的目标在于把一个简单的噪声分布
微观视角-样本的移动 宏观上我们希望改变一个分布的形状,微观上就是把这些样本重新映射到真实分布的样本,即数据点上。这就要求我们的模型能够学会如何把样本从真实分布中的低概率处(对应于噪声分布的高概率处)输运到高概率处,这个过程被称为重建。而另一方面,我们实际上无法得知真实分布的解析形式,而只能从中采样——即现成的真实数据点,为此我们只能通过把真实数据点先迁移到既定的(先验的)噪声分布的高概率处,然后把这个迁移路径的反向过程视为我们将要学习的目标。
这里的思维转换在于:
- 把噪声分布变成真实分布:不可解,因为真实分布解析式未知
- 把噪声样本变成真实样本:不可解,因为噪声样本对应的真实样本未知
- 把真实样本变成噪声样本:可解,通过将真实样本加噪
- 把噪声样本变成真实样本:可解,通过逆转 3 的过程
- 把噪声分布变成真实分布:可解,通过对大量噪声样本重复 4 得到大量真实样本,然后用样本分布逼近真实分布