首页 精品内容 本月促销 HOT 装机必备 HOT Windows macOS软件 IOS软件 Android AI PDF教程 专题

当前位置：

首页 > 业界资讯 > DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩

DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩

作者：BlueNight 时间：2024-06-30 来源：互联网 浏览：0

基于DiffusionTransformer（DiT）又迎来一大力作「Flag-DiT」，这次要将图像、视频、音频和3D「一网打尽」。今年2月初，Sora的发布让AI社区更加看到了基础扩散模型的潜力。连同以往出现的StableDiffusion、PixArt-α和PixArt-Σ，这些模型在生成真实图像和视频方面取得了显著的成功。这意味着开始了从经典U-Net架构到基于Transformer的扩散主干架构的范式转变。值得注意的是，通过这种改进的架构，Sora和StableDiffu

基于 Diffusion Transformer（DiT）又迎来一大力作「Flag-DiT」，这次要将图像、视频、音频和 3D「一网打尽」。


今年 2 月初，Sora 的发布让 AI 社区更加看到了基础扩散模型的潜力。连同以往出现的 Stable Diffusion、PixArt-α 和 PixArt-Σ，这些模型在生成真实图像和视频方面取得了显著的成功。这意味着开始了从经典 U-Net 架构到基于 Transformer 的扩散主干架构的范式转变。

值得注意的是，通过这种改进的架构，Sora 和 Stable Diffusion 3 可以生成任意分辨率的样本，并表现出对 scaling 定律的严格遵守，即增加参数大小可以实现更好的结果。 

不过，推出者们只对自家模型的设计选择提供有限的指导，并且缺乏详细的实现说明和公开的预训练检查点，限制了它们在社区使用和复刻方面的效用。并且，这些方法是针对特定任务（例如图像或视频生成任务）量身定制的，这阻碍了潜在的跨模态适应性。

为了弥补这些差距，上海 AI Lab、港中文和英伟达的研究者联合推出了 Lumina-T2X 系列模型，通过基于流（Flow-based）的大型扩散 Transformers（Flag-DiT）打造，旨在将噪声转换为图像、视频、多视图 3D 对象和基于文本描述的音频。

其中，Lumina-T2X 系列中最大的模型包括具有 70 亿参数的 Flag-DiT 和一个多模态大语言模型 SPHINX。SPHINX 是一个文本编码器，它具有 130 亿参数，能够处理 128K tokens。

DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩

  • 论文地址：https://arxiv.org/pdf/2405.05945
  • GitHub 地址：https://github.com/Alpha-VLLM/Lumina-T2X
  • 模型下载地址：https://huggingface.co/Alpha-VLLM/Lumina-T2I/tree/main
  • 论文标题：Lumina-T2X: Transforming Text into Any Modality, Resolution, and Duration via Flow-based Large Diffusion Transformers

具体来讲，基础的文本到图像模型 Lumina-T2I 利用流匹配框架，在精心整理的高分辨率真实图像文本对数据集上进行训练，只需要使用很少的计算资源就能取得真实感非常不错的结果。

如图 1 所示，Lumina-T2I 可以生成任意分辨率和宽高比的高质量图像，并进一步实现高级功能，包括分辨率外推、高分辨率编辑、构图生成和风格一致生成，所有这些都以免训练的方式无缝集成到框架中。 

DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩

此外，为了增强跨各种模态的生成能力，Lumina-T2X 从头开始对视频 - 文本、多视图 - 文本和语音 - 文本对进行独立训练，从而可以合成视频、多视图 3D 对象以及文本语音指示。例如，Lumina-T2V 仅用有限的资源和时间进行训练，可以生成任何宽高比和时长的 720p 视频，显著缩小了开源模型与 Sora 之间的差距。

我们先来一睹实现效果如何。比如生成视频：

DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩

生成单张图像：

DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩

3D 生成：

DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩

语音生成：

DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩

构图生成：

DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩

风格一致性生成：

DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩

更大分辨率外推：

DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩

图像编辑：

DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩

可以说，Lumina-T2X 系列模型真正实现了图像、视频、3D 和语音的「大一统」。

DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩

目前，研究者已经推出了分别使用 Flag-DiT 2B 和 Gemma 2B 作为文本编码器的 Lumina-Next-T2I 模型，可以在 gradio 上试玩。

  • 试用地址 1：http://106.14.2.150:10021/
  • 试用地址 2：http://106.14.2.150:10022/

方法概览

Flag-DiT 架构

Flag-DiT 是 Lumina-T2X 框架的主干，它具有显著的稳定性、灵活性和可扩展性。

首先是稳定性。Flag-DiT 建立在 DiT 之上，并结合 ViT-22B 和 LLaMa 来修改，以提高训练稳定性。具体来说，Flag-DiT 将所有 LayerNorm 替换为 RMSNorm，使得训练稳定性增强。

此外，Flag-DiT 在键查询点积注意力计算之前结合键查询归一化（KQ-Norm）。KQ-Norm 的引入旨在通过消除注意力 logits 中极大值来防止损失发散。这种简单的修改可以防止混合精度训练下的发散损失，并有助于以更高的学习率进行优化。Flag-DiT 的详细计算流如图 2 所示。

DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩

其次是灵活性。DiT 仅支持具有简单标签条件和固定 DDPM 公式的固定分辨率图像生成。为了解决这些问题，研究者首先探究为什么 DiT 缺乏以任意分辨率和比例生成样本的灵活性。他们发现，专为视觉识别任务而设计的 APE 很难泛化到训练之外未见过的分辨率和规模。

因此，受最近展现出强大上下文外推能力的 LLM 的推动，他们用 RoPE 替换了 APE。RoPE 按照以下公式 1 和 2 以分层方式注入相对位置信息。

DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩

最后，研究者根据经验，使用更大的参数和更多的训练样本扩展了 Flag-DiT。具体来讲，他们探索在标签条件 ImageNet 生成基准上将参数大小从 600M 扩大到 7B。

DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩

Lumina-T2X 整体流程

如图 3 所示，Lumina-T2X 在训练过程中主要由四个组件组成，接下来进行一一介绍。

DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩

不同模态的逐帧编码。在 Lumina-T2X 框架中统一不同模态的关键是将图像、视频、多视图图像和语音频谱图视为长度为 T 的帧序列，然后利用特定模态的编码器来将这些输入转换为形状为 [H, W, T, C] 的潜在框架。

使用多种文本编码器进行文本编码。对于文本条件生成，研究者使用预先训练的语言模型对文本提示进行编码。他们结合了各种大小不一的文本编码器，其中包括 CLIP、LLaMA、SPHINX 和 Phone 编码器，针对各种需求和模态进行量身定制，以优化文本调整。

输入和目标构建。Lumina-T2X 在流匹配中采用线性插值方案来构建输入和目标，具体如下公式 4 和 6 所示，简单灵活。并且，受到中间时间步对于扩散模型和流模型都至关重要的观察启发， 研究者在训练期间采用时间重采样策略从对数范数分布中采样时间步。

DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩

DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩

网络架构和损失。研究者使用 Flag-DiT 作为去噪主干。给定噪声输入，Flag-DiT 块通过调控机制注入添加了全局文本嵌入的扩散时间步，并使用如下公式 9 通过零初始化注意力来进一步集成文本调整。

DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩

Lumina-T2X 系列

Lumina-T2X 系列模型包括了 Lumina-T2I、Lumina-T2V、LuminaT2MV 和 Lumina-T2Speech。对于每种模态，Lumina-T2X 都经过了针对不同场景优化的多配置独立训练，例如不同的文本编码器、VAE 潜在空间和参数大小。具体如图 17 所示。

DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩

Lumina-T2I 的高级应用 

除了基本的文本生成图像之外，文本到图像版本的 Lumina-T2I 还支持更复杂的视觉创作，并作为基础模型产生富有创造力的视觉效果。这包括分辨率外推、风格一致性生成、高分辨率图像编辑和构图生成。

与以往使用多种方法解决这些任务的策略不同，Lumina-T2I 可以通过 token 操作统一解决这些问题，如图 4 所示。

DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩

免调整分辨率外推。RoPE 的平移不变性增强了 Lumina-T2X 的分辨率外推潜力，使其能够生成域外分辨率的图像。Lumina-T2X 分辨率最高可以外推到 2K。

风格一致性生成。基于 Transformer 的扩散模型架构使得 Lumina-T2I 自然地适合风格一致性生成等自注意力操作应用。

构图生成。研究者只将此操作应用于 10 个注意力交叉层，以确保文本信息被注入到不同的区域。同时保持自注意层不变，以确保最终图像的连贯、和谐。

高分辨率编辑。除了高分辨率生成之外，Lumina-T2I 还可以执行图像编辑，尤其是对于高分辨率图像。

实验结果

在 ImageNet 上验证 Flag-DiT

研究者在有标签条件的 256×256 和 512×512 ImageNet 上进行实验，以验证 Flag-DiT 相对于 DiT 的优势。Large-DiT 是 Flag-DiT 的特化版本，采用了 DDPM 算法 ，以便与原始 DiT 进行公平比较。研究者完全沿用了 DiT 的设置，但做了以下修改，包括混合精度训练、大学习率和架构修改套件（如 QK-Norm、RoPE 和 RMSNorm）。

研究者将其与 SOTA 方法的比较，如表 2 所示，Large-DiT-7B 在不使用无分类指导（CFG）的情况下，在 FID 和 IS 分数上明显超过了所有方法，将 FID 分数从 8.60 降至 6.09。这表明，增加扩散模型的参数可以显著提高样本质量，而无需依赖 CFG 等额外技巧。

DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩

研究者比较了 Flag-DiT、Large-DiT 和 SiT 在 ImageNet 条件生成上的性能，为了进行公平比较，他们将参数大小固定为 600M。如图 5 (a) 所示，在 FID 评估的所有历时中，Flag-DiT 的性能始终优于 Large-DiT。这表明，与标准扩散设置相比，流匹配公式可以改善图像生成。此外，与 SiT 相比，Flag-DiT 的 FID 分数较低，这表明元架构修改（包括 RMSNorm、RoPE 和 K-Q norm）不仅能稳定训练，还能提高性能。

DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩

通过混合精度训练提高训练速度 。Flag-DiT 不仅能提高性能，还能提高训练效率和稳定性。如表 4 所示。Flag-DiT 每秒可多处理 40% 的图像。

DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩

ImageNet 初始化的影响 PixArt-α 利用 ImageNet 预训练的 DiT（学习像素依赖性）作为后续 T2I 模型的初始化。为了验证 ImageNet 初始化的影响，研究者比较了使用 ImageNet 初始化和从头开始训练的 600M 参数模型的 Lumina-T2I 速度预测损失。如图 5 (d) 所示，从头开始训练的损失水平更低，收敛速度更快。此外，从零开始可以更灵活地选择配置和架构，而不受预训练网络的限制。表 1 所示的简单而快速的训练配方也是根据这一观察结果设计的。

Lumina-T2I 的结果

图 6 中展示了基本的文本到图像生成能力。扩散主干架构和文本编码器的大容量允许生成逼真的高分辨率图像，并能准确理解文本，只需使用 288 个 A100 GPU 天数。

DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩

分辨率外推法不仅能带来更大比例的图像，还能带来更高的图像质量和更强的细节。如图 7 所示，当分辨率从 1K 外推至 1.5K 时，我们可以发现到生成图像的质量和文本到图像的对齐情况都得到了显著提升。此外，Lumina-T2I 还能进行外推，生成分辨率更低的图像，如 512 分辨率，从而提供了更大的灵活性。

DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩

如图 8 所示，通过利用一个简单的注意力共享操作，我们可以观察到生成批次中的强一致性。得益于完全注意力模型架构，研究者获得了与参考文献 [58] 中相媲美的结果，而无需使用任何技巧，如自适应实例规范化（AdaIN）。此外，研究者认为，正如先前的研究所示，通过适当的反转技术，他们可以实现零成本的风格 / 概念个性化，这是未来探索的一个有前景的方向。

DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩

如图 9 所示，研究者演示了组合生成 。在这其中可以定义任意数量的 prompt，并为每个 prompt 分配任意区域。Lumina-T2I 成功生成了各种分辨率的高质量图像，这些图像与复杂的输入 prompt 相一致，同时又保持了整体的视觉一致性。这表明，Lumina-T2I 的设计选择提供了一种灵活有效的方法，在生成复杂的高分辨率多概念图像方面表现出色。

DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩

研究者对高分辨率图像进行风格和主题编辑。如图 10 所示，Lumina-T2I 可以无缝修改全局样式或添加主题，而无需额外的训练。此外，他们还分析了图像编辑中的启动时间和潜在特征归一化等各种因素，如图 11 所示。

DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩

DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩

如图 13 (a) 所示，研究者可视化了各层和各头部的门控值，发现大多数门控值接近零，只有少部分显示出显著的重要性。有趣的是，最关键的文本调节头部主要位于中间层，这表明这些层在文本调节中起着关键作用。为了巩固这一观察结果，研究者对低于某一阈值的门控进行了截断，发现 80% 的门控可以在不影响图像生成质量的情况下被停用，如图 13 (b) 所示。这一观察表明，在采样过程中截断大多数交叉注意力操作的可能性，这可以大大减少推理时间。

DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩

Lumina-T2V 的结果

研究者观察到，使用大批量的 Lumina-T2V 能够收敛，而小批量则难以收敛。如图 14 (a) 所示，将批量大小从 32 增加到 1024 会导致损失收敛。另一方面，与 ImageNet 实验中的观察相似，增加模型参数会加速视频生成的收敛速度。如图 14 (b) 所示，当参数大小从 600M 增加到 5B 时，我们能够在相同的训练迭代次数下一致观察到更低的损失。

DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩

如图 15 所示，Lumina-T2V 的第一阶段能够生成具有场景动态变化（如场景转换）的短视频，尽管生成的视频在分辨率和持续时间上有限，总 token 数最多为 32K。经过对更长持续时间和更高分辨率视频的第二阶段训练后，Lumina-T2V 能够生成 128K token 的各种分辨率和持续时间的长视频。如图 16 所示，生成的视频展示了时间上的一致性和更丰富的场景动态，表明当使用更多的计算资源和数据时，展现出有希望的扩展趋势。

DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩

DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩

更多详细内容，请阅读原论文。
本文内容来源于互联网，如有侵权请联系删除。
作者最新文章
业界资讯
相关文章 更多
华为鸿蒙电脑亮相，重构产业新格局
华为鸿蒙电脑亮相，重构产业新格局

华为鸿蒙电脑技术与生态沟通会隆重举行，首款鸿蒙电脑惊艳登场，这一标志性事件预示着华为在电脑领域迈出了具有深远影响的关键一步，为国产电脑产业带来了全新的革新与发展契机。鸿蒙电脑的推出并非一朝一夕之功，而是华为经过五年精心策划的结果。在此期间，华为汇聚了超过10000名顶尖工程师，与20多家专业研究所紧密合作，投入大量的精力与资源进行技术研发，最终积累了超过2700项核心专利，彰显了其强大的技术实力与创新能力。新推出的HarmonyOS5采用鸿蒙内核，从操作系统底层开始重构，旨在为用户提供全面升级的办公体验

2025-10-11 0 小月亮
硬件相关 华为 AI 鸿蒙
Siri等明年！苹果WWDC25给AI交底：画小饼，继续熬
Siri等明年！苹果WWDC25给AI交底：画小饼，继续熬

不求速胜，熬吧。

2025-06-10 0 BlueNight
业界资讯
比特现金未来：可扩展性与支付潜力
比特现金未来：可扩展性与支付潜力

比特现金（BCH）的未来发展前景看好。凭借其可扩展性、支付采用、价值存储、智能合约和坚实的社区支持，比特现金有望在多个领域取得显著发展，成为一种多功能且广泛使用的加密货币。

2025-05-16 0 归人云淡风轻
业界资讯
ACH总量10亿，价值与用途详解
ACH总量10亿，价值与用途详解

ACH 总共发行了 10 亿枚，用于支付网关费用、治理投票和质押奖励。ACH 基于 BEP-20 标准，采用 PoS 机制，可通过私募、公募和生态系统分配获取，其价值受服务需求、实用性和市场趋势影响，可在币安、火币等交易所购买。

2025-05-15 0 小宇宙叶知秋
业界资讯
Coinbase Pro设置指南：下载、登录与自定义
Coinbase Pro设置指南：下载、登录与自定义

Coinbase Pro 设置步骤：下载并安装软件后，打开并登录，点击右上角齿轮图标进入“首选项”。在首选项中，你可以调整界面、安全、通知、交易和API设置，完成后点击“保存”按钮确认更改。

2025-05-15 0 归人云淡风轻
业界资讯
IoTeX等基础设施如何赋能IoT生态
IoTeX等基础设施如何赋能IoT生态

IoTeX、DePHY和peaq是构建物联网生态系统的关键基础设施。IoTeX提供去中心化网络，确保物联网交易和数据的安全性。DePHY利用区块链技术实现频谱共享和自治管理。peaq促进设备间的数据标准化和共享。通过这些基础设施的协同作用，物联网生态系统实现了去中心化、安全、互操作性和自治，充分释放了物联网的潜力。

2025-05-15 0 RiverSoul
业界资讯
DOGE发行价多少
DOGE发行价多少

2025-05-15 0 RainLight
业界资讯
波场etf代码
波场etf代码

2025-05-15 0 BrightSoul
业界资讯
TRX浏览器查询地址
TRX浏览器查询地址

2025-05-15 50 水悠悠予安
业界资讯
ChainLink跑路了吗
ChainLink跑路了吗

2025-05-15 0 RiverSoul
业界资讯
查看更多
热门文章 更多
Yandex中文入口及登录使用全攻略 B站免费入口永久有效网址推荐 51漫画高清入口及最新章节更新 高德地图开启海拔显示方法 我的世界网页版即点即玩入口推荐 JS金额计算怎么避免四舍五入误差 photoshop智能对象怎么编辑 B站免费入口网站高效连接方法 QQ网页版登录入口大全 QQ网页版官方登录指南 学习通网页登录入口及账号使用教程
精品专题 更多
装机必备
装机必备

正软商城装机必备专区，精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件，帮助用户快速完成新电脑软件配置。

Windows
Windows

正软商城Windows软件专区，汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件，提供软件介绍、系统要求、正版授权及购买下载服务。

macOS软件
macOS软件

正软商城macOS软件专区，精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具，提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

Mac软件 更多
灵活计算器
灵活计算器
macOS/iOS/Android

灵活计算器是一款笔记式算数应用，支持实时计算、动态关联和云端同步功能。记录、整理和输出之间的过渡会更自然，适合长期写作、做笔记或持续沉淀个人内容。

赤友清理大师
赤友清理大师
macOS

赤友清理大师是一款为 Mac 设计的智能清理优化工具，可精准扫描垃圾、大文件、重复文件等，释放磁盘空间。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。

WINDOWS 更多
Windows 10
Windows 10
Windows

Windows 10 是一款微软推出的经典操作系统，拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起，适合需要持续观察和微调设备状态的场景。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。

密码键盘
密码键盘
Windows/macOS/iOS/Android

密码键盘是一款兼具安全性与便捷性的高效密码管理器。日常使用里的持续防护和信息管理会更突出，适合把安全控制放进长期使用流程中的场景。