当前位置:

首页 > 业界资讯 > 降低AI量产视频成本的华科阿里等联合推出TF-T2V技术

降低AI量产视频成本的华科阿里等联合推出TF-T2V技术

近两年来,随着大规模图文数据集如LAION-5B的开放,图片生成领域涌现出了一系列效果惊人的方法,如StableDiffusion、DALL-E2、ControlNet和Composer。这些方法的出现使得图片生成领域取得了巨大的突破和进展。图片生成领域可谓在过去短短两年内取得了飞速发展。然而,视频生成仍然面临着巨大的挑战。首先,与图片生成相比,视频生成需要处理更高维度的数据,并且需要考虑到额外的时间维度,这带来了时序建模的问题。为了驱动时序动态的学习,我们需要更多的视频-文本对数据。然而,对视频进行准确

近两年来,随着大规模图文数据集如LAION-5B的开放,图片生成领域涌现出了一系列效果惊人的方法,如Stable Diffusion、DALL-E 2、ControlNet和Composer。这些方法的出现使得图片生成领域取得了巨大的突破和进展。图片生成领域可谓在过去短短两年内取得了飞速发展。

然而,视频生成仍然面临着巨大的挑战。首先,与图片生成相比,视频生成需要处理更高维度的数据,并且需要考虑到额外的时间维度,这带来了时序建模的问题。为了驱动时序动态的学习,我们需要更多的视频-文本对数据。然而,对视频进行准确的时序标注非常昂贵,这限制了视频-文本数据集的规模。目前,现有的WebVid10M视频数据集仅包含10.7M个视频-文本对,与LAION-5B图片数据集相比,数据规模相差甚远。这严重制约了视频生成模型规模化扩展的可能性。

为解决上述问题,华中科技大学、阿里巴巴集团、浙江大学和蚂蚁集团联合研究团队于近期发布了 TF-T2V 视频方案:

无需文本标注,TF-T2V把AI量产视频的成本打下来了!华科阿里等联合打造


论文地址:https://arxiv.org/abs/2312.15770

项目主页:https://tf-t2v.github.io/

即将公开源代码:https://github.com/ali-vilab/i2vgen-xl (VGen 项目)。

该方案另辟蹊径,提出了基于大规模无文本标注视频数据进行视频生成,能够学习丰富的运动动态。

先来看看 TF-T2V 的视频生成效果:

文生视频任务

提示词:生成在冰雪覆盖的土地上有一只冰霜般的大生物的视频。

无需文本标注,TF-T2V把AI量产视频的成本打下来了!华科阿里等联合打造

提示词:生成一只卡通蜜蜂的动画视频。

无需文本标注,TF-T2V把AI量产视频的成本打下来了!华科阿里等联合打造

提示词:生成包含一辆未来幻想摩托车的视频。

无需文本标注,TF-T2V把AI量产视频的成本打下来了!华科阿里等联合打造

提示词:生成一个小男孩快乐微笑的视频。

无需文本标注,TF-T2V把AI量产视频的成本打下来了!华科阿里等联合打造

提示词:生成一个老人感觉头疼的视频。

无需文本标注,TF-T2V把AI量产视频的成本打下来了!华科阿里等联合打造

组合式视频生成任务

给定文本与深度图或者文本与素描草图,TF-T2V 能够进行可控的视频生成:

无需文本标注,TF-T2V把AI量产视频的成本打下来了!华科阿里等联合打造

也可以进行高分辨率视频合成:

无需文本标注,TF-T2V把AI量产视频的成本打下来了!华科阿里等联合打造

无需文本标注,TF-T2V把AI量产视频的成本打下来了!华科阿里等联合打造


无需文本标注,TF-T2V把AI量产视频的成本打下来了!华科阿里等联合打造

半监督设定

在半监督设定下的 TF-T2V 方法还可以生成符合运动文本描述的视频,如 「人从右往左跑」。

无需文本标注,TF-T2V把AI量产视频的成本打下来了!华科阿里等联合打造

无需文本标注,TF-T2V把AI量产视频的成本打下来了!华科阿里等联合打造

方法简介

TF-T2V 的核心思想是将模型分为运动分支和表观分支,运动分支用于建模运动动态,表观分支用于学习视觉表观信息。这两个分支进行联合训练,最终可以实现通过文本驱动视频生成。

为了提升生成视频的时序一致性,作者团队还提出了一种时序一致性损失,显式地学习视频帧之间的连续性。

无需文本标注,TF-T2V把AI量产视频的成本打下来了!华科阿里等联合打造

值得一提的是,TF-T2V 是一种通用的框架,不仅适用于文生视频任务,还能应用于组合式视频生成任务,如 sketch-to-video、video inpainting、first frame-to-video 等。

具体细节和更多实验结果可以参考原论文或者项目主页。

此外,作者团队还把 TF-T2V 作为教师模型,利用一致性蒸馏技术得到了 VideoLCM 模型: 

无需文本标注,TF-T2V把AI量产视频的成本打下来了!华科阿里等联合打造

论文地址:https://arxiv.org/abs/2312.09109

项目主页:https://tf-t2v.github.io/

即将公开源代码:https://github.com/ali-vilab/i2vgen-xl (VGen 项目)。

不同于之前视频生成方法需要大约 50 步 DDIM 去噪步骤,基于 TF-T2V 的 VideoLCM 方法可以只需要进行大约 4 步推理去噪就生成高保真的视频,极大地提升了视频生成的效率。

一起来看看 VideoLCM 进行 4 步去噪推理的结果:

无需文本标注,TF-T2V把AI量产视频的成本打下来了!华科阿里等联合打造

无需文本标注,TF-T2V把AI量产视频的成本打下来了!华科阿里等联合打造

无需文本标注,TF-T2V把AI量产视频的成本打下来了!华科阿里等联合打造

具体细节和更多实验结果可以参考 VideoLCM 原论文或者项目主页。

总而言之,TF-T2V 方案为视频生成领域带来了新思路,克服了数据集规模和标注难题带来的挑战。利用大规模的无文本标注视频数据,TF-T2V 能够生成高质量的视频,并应用于多种视频生成任务。这一创新将推动视频生成技术的发展,为各行各业带来更广阔的应用场景和商业机会。

本文内容来源于互联网,如有侵权请联系删除。
作者最新文章
业界资讯 视频
相关文章 更多
OPPO Find X9s Pro 体验小巧身材 大有可为
OPPO Find X9s Pro 体验小巧身材 大有可为

OPPO Find X9s Pro 的上手体验,着实让人眼前一亮。别看它机身小巧,功能配置却一个不落,称得上“面面俱到”。对于偏爱小屏手感的用户来说,这简直是一大福音——下面就来好好看看它的表现。

【视频】百变空间首发体验 小米澎程N90 Max 把客厅搬到车里
【视频】百变空间首发体验 小米澎程N90 Max 把客厅搬到车里

小米澎程N90Max全新发布,主打百变空间概念。通过视频首发体验,直观呈现将客厅功能融入车内的创新设计,用户可跟随镜头感受空间灵活变换的独特魅力,探索车内生活的多种可能场景。

4TB数据搬运:物理传输更高效
4TB数据搬运:物理传输更高效

在千兆宽带、5G通信与云服务深度普及的2026年,大众普遍以为超大文件传输已步入“秒级时代”,但现实远未达到这般畅快。当面对数TB乃至数十TB级别的庞大数据集时,当下最可靠、最迅捷且兼顾安全性的传输方案,依然是“物理位移”——依靠人工携带存储介质完成跨地域交付。一位来自河南信阳的用户讲述了真实经历:他曾需将4TB资料从信阳送往郑州,首次尝试纯网络传输,系统预估总耗时近72小时;最终改用专人驱车运送,单程仅需约2.5小时,当天即完成取件与送达,整体效率显著超越线上方式。该实例迅速引发热议,多位资深IT博主随

Word插入视频教程:本地与在线视频嵌入方法
Word插入视频教程:本地与在线视频嵌入方法

可通过插入本地视频或在线链接在Word中添加多媒体。2.插入本地视频需在“插入”选项卡选择“此设备上的视频”并选中文件。3.嵌入在线视频需复制YouTube等平台的URL粘贴到“获取视频”框中。4.可调整视频缩略图大小、样式和位置,并设置文字环绕以优化排版效果。

SOTA大模型加密数据评测:Qwen3仅破10%
SOTA大模型加密数据评测:Qwen3仅破10%

大语言模型面对加密数据,即便最新的Qwen3也会感到压力!尽管当下各类推理模型在多种基准测试中表现优异,但在密码学这样对逻辑严谨性和细节准确性要求极高的专业领域,模型的推理能力还有待深入挖掘。密码学不仅要求模型具备高级数学运算能力和严密的逻辑推理链,还需要其能够精准辨识复杂加密模式中的潜在规律;成功解密要求模型拥有极强的综合推理能力。上海AILab等联合推出的CipherBank测评,使用大量真实隐私场景数据和多种密码算法,严苛挑战当前最先进的大模型。CipherBank的测评结果显示,目前的大语言模型

QLED与UHD区别详解
QLED与UHD区别详解

想要购买新电视?如果您是第一次这样做,这项任务可能对您来说具有挑战性。科技市场提供了很多版本的电视。你不可能熟悉每一套的规格。此外,买家对LED、UHD、LCD和QLED技术等术语的理解相当混乱。QLED和UHD电视机如今变得如此流行。LG于2012年首次在电视行业推出超高清显示器,而索尼于2013年首次推出QLED技术。毫无疑问,这两种技术在很多方面都是相同的。甚至它们可以同时使用以获得更好的电视显示效果。然而,从许多其他方面来看,它们也是完全独特的,只能根据它们的规格来考虑

雷克沙ArmorSD卡测评:全金屬防護三防加持存储更安心
雷克沙ArmorSD卡测评:全金屬防護三防加持存储更安心

无论是专业摄影师还是摄影爱好者,相机内存储卡的可靠性都至关重要,尤其是在恶劣的拍摄环境中,数据存储的安全性更是不可忽视。尽管市场上有多种支持三防功能的移动存储设备用于数据备份,但最常用的SD存储卡由于采用塑料外壳,长期使用后容易出现破损,导致数据损坏,甚至可能损坏相机的存储卡槽,带来的损失不可估量。国际存储品牌雷克沙推出了全新的Armor系列SD存储卡,不仅读写速度快,还采用了不锈钢材质的外壳,具有优异的防水、防尘和防跌落性能,为相机的原始拍摄数据提供了可靠的保护。雷克沙ArmorSD存储卡分为GOLD

Siri等明年!苹果WWDC25给AI交底:画小饼,继续熬
Siri等明年!苹果WWDC25给AI交底:画小饼,继续熬

不求速胜,熬吧。

第一章:计算机系统全方位概述
第一章:计算机系统全方位概述

1.1计算机发展历程[计组]1.0_你好,我是计算机组成原理我们生活在一个信息化程度极高的世界中,我们每天的生活都离不开电脑和手机,这些设备实际上都属于计算机的范畴。计算机的底层结构由硬件构成,在硬件之上,我们会安装操作系统,再在操作系统上运行各种应用软件,这样就能得到一个易于使用的计算机系统。通过计算机网络,这些设备实现了信息的互联互通,这正是我们现在生活的信息化世界的缩影。计算机组成原理这门课研究的就是这些计算机硬件在底层如何协同工作。既然我们要研究硬件,不妨先来看一下大家日常生活中常见的一些硬件

vivo 获批模块化智能手表专利 可调传感器以获得更精准数据
vivo 获批模块化智能手表专利 可调传感器以获得更精准数据

近日,vivo的一项智能手表专利正式获得批准并公开展示。该专利采用模块化设计,通过磁力锁扣和滑动限位槽,用户可以手动调整传感器的位置,以确保健康数据的精准收集。vivo这项专利的核心亮点是其模块化结构。手表由可穿戴主体和可拆卸设备主体两部分组成,用户可以通过滑动限位槽和磁力锁扣,旋转或移动内部传感器模块,将其调整到最佳佩戴位置。这种设计有效提高了健康数据的监测准确性,如心率和血氧等关键指标。对于不同体型和佩戴习惯的用户来说,这种可调节性尤为重要,能够确保传感器与皮肤的紧密接触,减少因位置偏差导致的误差

查看更多
精品专题 更多
装机必备
装机必备

正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

Windows
Windows

正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

macOS软件
macOS软件

正软商城macOS软件专区,精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具,提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

Mac软件 更多
灵活计算器
灵活计算器
macOS/iOS/Android

灵活计算器是一款笔记式算数应用,支持实时计算、动态关联和云端同步功能。记录、整理和输出之间的过渡会更自然,适合长期写作、做笔记或持续沉淀个人内容。

赤友清理大师
赤友清理大师
macOS

赤友清理大师是一款为 Mac 设计的智能清理优化工具,可精准扫描垃圾、大文件、重复文件等,释放磁盘空间。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

WINDOWS 更多
Windows 10
Windows 10
Windows

Windows 10 是一款微软推出的经典操作系统,拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起,适合需要持续观察和微调设备状态的场景。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

密码键盘
密码键盘
Windows/macOS/iOS/Android

密码键盘是一款兼具安全性与便捷性的高效密码管理器。日常使用里的持续防护和信息管理会更突出,适合把安全控制放进长期使用流程中的场景。