CVPR 2024|生成不了光线极强的图片?微信视觉团队有效解决扩散模型奇点问题
作者:归人云淡风轻
时间:2024-04-06
来源:互联网
浏览:0
扩散模型凭借其在图像生成方面的出色表现,开启了生成式模型的新纪元。诸如StableDiffusion,DALLE,Imagen,SORA等大模型如雨后春笋般涌现,进一步丰富了生成式AI的应用前景。然而,当前的扩散模型在理论上并非完美,鲜有研究关注到采样时间端点处未定义的奇点问题。此外,奇点问题在应用中导致的平均灰度等影响生成图像质量的问题也一直未得到解决。为了解决这一难题,微信视觉团队与中山大学合作,联手探究了扩散模型中的奇点问题,并提出了一个即插即用的方法,有效解决了初始时刻的采样问题。该方法成功解决了

为扩散模型的训练样本,训练样本的分布可以表示为:

,
,
,
随着时间单调的从 1 变化到 0。考虑到刚刚定义的训练样本分布,
的单时刻边际概率密度可以表示为:
由此,可以通过贝叶斯公式计算逆过程的条件分布:

然而,经过的分布是混合高斯分布,难以用网络进行拟合。因此,主流的扩散模型通常假设这一分布可以由单个高斯分布拟合。

为了验证这一假设,该研究在 Proposition 1 中估计了这一拟合的误差。
也将趋近于 1,误差无法忽略。因此,Proposition 1 并不能证明 t=1 时的逆向高斯特性。为了解决这一问题,该研究给出了新的命题:
将趋近于 0。由此,该研究证明了包含奇点时刻的逆过程全过程都符合高斯特性。
=0,下面的采样公式将出现分母除 0 的情况:

,使用 「x - 预测」,来解决的初始奇点处的采样问题。
。这样的奇异性会使得采样过程收敛到正确的数据
上。因此,t=0 处的奇点是扩散模型良好的性质,并不需要规避。

SingDiffuion 的算法如下图所示:

,该方法训练了一个 Unet
来拟合
。损失函数表示为:
采样
。
符合 1-ε 时刻的数据分布
,从而解决了平均灰度问题。在这一步骤之后,就可以使用预训练的模型执行后续的采样步骤,直到生成
。值得注意的是,由于该方法仅参与第一步的采样,与后续的采样过程无关,因此 SingDiffusion 可以应用在绝大多数已有的扩散模型中。另外,为了避免无分类器指导操作导致的数据溢出问题,该方法还使用了以下的归一化操作:





可以看出,该研究所提出的方法仅需进行一次训练,即可轻松地应用到已有的扩散模型中,解决平均灰度问题。

从结果中可以看出,该方法能有效解决 ControlNet 的平均灰度问题。
作者最新文章
荣耀MagicOS 11发布计划与Agent Harness架构解析
2026-09-08 19:23
AI重构企业业务架构:超聚变“智企”范式核心解析
2026-09-08 18:39
PDF合并工具怎么选?在线合并5步实操指南
2026-09-04 17:05
PDF图片压缩工具推荐与批量处理实操指南
2026-09-03 12:14
照片如何转成PDF格式?三种图片转PDF操作方法
2026-09-03 11:04
上一篇:
钉钉接口与PHP的消息回调实现方式
热门文章
更多
精品专题
更多
Mac软件
更多
WINDOWS
更多
Windows 10
Windows
Windows 10 是一款微软推出的经典操作系统,拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起,适合需要持续观察和微调设备状态的场景。
极度公式
Windows/macOS/Linux
极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。
















