当前位置:

首页 > 业界资讯 > 降低AI量产视频成本的华科阿里等联合推出TF-T2V技术

降低AI量产视频成本的华科阿里等联合推出TF-T2V技术

近两年来,随着大规模图文数据集如LAION-5B的开放,图片生成领域涌现出了一系列效果惊人的方法,如StableDiffusion、DALL-E2、ControlNet和Composer。这些方法的出现使得图片生成领域取得了巨大的突破和进展。图片生成领域可谓在过去短短两年内取得了飞速发展。然而,视频生成仍然面临着巨大的挑战。首先,与图片生成相比,视频生成需要处理更高维度的数据,并且需要考虑到额外的时间维度,这带来了时序建模的问题。为了驱动时序动态的学习,我们需要更多的视频-文本对数据。然而,对视频进行准确

本文目录

    近两年来,随着大规模图文数据集如LAION-5B的开放,图片生成领域涌现出了一系列效果惊人的方法,如Stable Diffusion、DALL-E 2、ControlNet和Composer。这些方法的出现使得图片生成领域取得了巨大的突破和进展。图片生成领域可谓在过去短短两年内取得了飞速发展。

    然而,视频生成仍然面临着巨大的挑战。首先,与图片生成相比,视频生成需要处理更高维度的数据,并且需要考虑到额外的时间维度,这带来了时序建模的问题。为了驱动时序动态的学习,我们需要更多的视频-文本对数据。然而,对视频进行准确的时序标注非常昂贵,这限制了视频-文本数据集的规模。目前,现有的WebVid10M视频数据集仅包含10.7M个视频-文本对,与LAION-5B图片数据集相比,数据规模相差甚远。这严重制约了视频生成模型规模化扩展的可能性。

    为解决上述问题,华中科技大学、阿里巴巴集团、浙江大学和蚂蚁集团联合研究团队于近期发布了 TF-T2V 视频方案:

    无需文本标注,TF-T2V把AI量产视频的成本打下来了!华科阿里等联合打造


    论文地址:https://arxiv.org/abs/2312.15770

    项目主页:https://tf-t2v.github.io/

    即将公开源代码:https://github.com/ali-vilab/i2vgen-xl (VGen 项目)。

    该方案另辟蹊径,提出了基于大规模无文本标注视频数据进行视频生成,能够学习丰富的运动动态。

    先来看看 TF-T2V 的视频生成效果:

    文生视频任务

    提示词:生成在冰雪覆盖的土地上有一只冰霜般的大生物的视频。

    无需文本标注,TF-T2V把AI量产视频的成本打下来了!华科阿里等联合打造

    提示词:生成一只卡通蜜蜂的动画视频。

    无需文本标注,TF-T2V把AI量产视频的成本打下来了!华科阿里等联合打造

    提示词:生成包含一辆未来幻想摩托车的视频。

    无需文本标注,TF-T2V把AI量产视频的成本打下来了!华科阿里等联合打造

    提示词:生成一个小男孩快乐微笑的视频。

    无需文本标注,TF-T2V把AI量产视频的成本打下来了!华科阿里等联合打造

    提示词:生成一个老人感觉头疼的视频。

    无需文本标注,TF-T2V把AI量产视频的成本打下来了!华科阿里等联合打造

    组合式视频生成任务

    给定文本与深度图或者文本与素描草图,TF-T2V 能够进行可控的视频生成:

    无需文本标注,TF-T2V把AI量产视频的成本打下来了!华科阿里等联合打造

    也可以进行高分辨率视频合成:

    无需文本标注,TF-T2V把AI量产视频的成本打下来了!华科阿里等联合打造

    无需文本标注,TF-T2V把AI量产视频的成本打下来了!华科阿里等联合打造


    无需文本标注,TF-T2V把AI量产视频的成本打下来了!华科阿里等联合打造

    半监督设定

    在半监督设定下的 TF-T2V 方法还可以生成符合运动文本描述的视频,如 「人从右往左跑」。

    无需文本标注,TF-T2V把AI量产视频的成本打下来了!华科阿里等联合打造

    无需文本标注,TF-T2V把AI量产视频的成本打下来了!华科阿里等联合打造

    方法简介

    TF-T2V 的核心思想是将模型分为运动分支和表观分支,运动分支用于建模运动动态,表观分支用于学习视觉表观信息。这两个分支进行联合训练,最终可以实现通过文本驱动视频生成。

    为了提升生成视频的时序一致性,作者团队还提出了一种时序一致性损失,显式地学习视频帧之间的连续性。

    无需文本标注,TF-T2V把AI量产视频的成本打下来了!华科阿里等联合打造

    值得一提的是,TF-T2V 是一种通用的框架,不仅适用于文生视频任务,还能应用于组合式视频生成任务,如 sketch-to-video、video inpainting、first frame-to-video 等。

    具体细节和更多实验结果可以参考原论文或者项目主页。

    此外,作者团队还把 TF-T2V 作为教师模型,利用一致性蒸馏技术得到了 VideoLCM 模型: 

    无需文本标注,TF-T2V把AI量产视频的成本打下来了!华科阿里等联合打造

    论文地址:https://arxiv.org/abs/2312.09109

    项目主页:https://tf-t2v.github.io/

    即将公开源代码:https://github.com/ali-vilab/i2vgen-xl (VGen 项目)。

    不同于之前视频生成方法需要大约 50 步 DDIM 去噪步骤,基于 TF-T2V 的 VideoLCM 方法可以只需要进行大约 4 步推理去噪就生成高保真的视频,极大地提升了视频生成的效率。

    一起来看看 VideoLCM 进行 4 步去噪推理的结果:

    无需文本标注,TF-T2V把AI量产视频的成本打下来了!华科阿里等联合打造

    无需文本标注,TF-T2V把AI量产视频的成本打下来了!华科阿里等联合打造

    无需文本标注,TF-T2V把AI量产视频的成本打下来了!华科阿里等联合打造

    具体细节和更多实验结果可以参考 VideoLCM 原论文或者项目主页。

    总而言之,TF-T2V 方案为视频生成领域带来了新思路,克服了数据集规模和标注难题带来的挑战。利用大规模的无文本标注视频数据,TF-T2V 能够生成高质量的视频,并应用于多种视频生成任务。这一创新将推动视频生成技术的发展,为各行各业带来更广阔的应用场景和商业机会。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    业界资讯 视频
    相关文章 更多
    如何加快iPad的使用速度
    如何加快iPad的使用速度

    如何加快iPad的使用速度寻找更快、更智能地完成工作的方法几乎是每个人的首要任务。iPad是每个人的首选小工具,从忙碌的专业人士到创意人士和学生,它提供的远不止眼前所见。幸运的是,ByteReview有一个很棒的视频,其中包含各种巧妙的技巧和窍门,可以提升您的iPad游戏。准备好让你的iPad更努力地工作了,这样你就不必这样做了吗?让我们深入了解将您的平板电脑变成生产力机器的天才技巧。解锁ApplePencil的魔力ApplePencil不仅仅是一支手写笔;对于iPad用户来说,这是一根效率的魔杖。

    OPPO Find X9s Pro 体验小巧身材 大有可为
    OPPO Find X9s Pro 体验小巧身材 大有可为

    OPPO Find X9s Pro 的上手体验,着实让人眼前一亮。别看它机身小巧,功能配置却一个不落,称得上“面面俱到”。对于偏爱小屏手感的用户来说,这简直是一大福音——下面就来好好看看它的表现。

    【视频】百变空间首发体验 小米澎程N90 Max 把客厅搬到车里
    【视频】百变空间首发体验 小米澎程N90 Max 把客厅搬到车里

    小米澎程N90Max全新发布,主打百变空间概念。通过视频首发体验,直观呈现将客厅功能融入车内的创新设计,用户可跟随镜头感受空间灵活变换的独特魅力,探索车内生活的多种可能场景。

    FreeBSD 数据转移办法
    FreeBSD 数据转移办法

    在开始之前,先确认硬件已经就位:关机,把新硬盘装上,再重新开机。开机后第一件事,就是检查系统是否识别到了新设备。用 dmesg | grep ad2 看一眼,如果输出类似 ad2: 9765MB [19841/16/63] at ata1-master UDMA33 这样的信息,说明新硬盘已经被成功

    使命召唤手游高达联动上线时间
    使命召唤手游高达联动上线时间

    《使命召唤手游》与高达的联动团队竞技模式究竟何时上线?不少玩家对此时间并不清楚,实际上官方已经发布了相关消息,接下来我们一起来了解该模式的具体上线时间。使命召唤手游高达联动团队竞技模式上线时间?答:据官方公布的信息显示,《使命召唤手游》第六赛季“高达降临”已于7月2日太平洋时间下午5点正式开启。而大家期待已久的4v4高达团队竞技模式也将在7月4日正式登场。这个新模式采用第三人称视角呈现,玩家将扮演以高达为题材的干员角色,例如自由高达、沙扎比、ν高达以及死神高达等。每一台机体都拥有独特的机动性能和武器技能

    中国科研人员利用LAMOST望远镜发现两颗新的共生星
    中国科研人员利用LAMOST望远镜发现两颗新的共生星

    7月25日消息 天文学界最近有一项挺有意思的发现。根据中国科学院发布的信息,由南京天文光学技术研究所研究员王靓团队,联合国家天文台研究员罗阿理等人,利用LAMOST望远镜第十次公开的海量光谱数据,再结合多种测光数据,成功揪出了两颗全新的共生星,同时还锁定了12颗“仅吸积共生星”的候选体。这成果可不只

    伯恩斯坦:二月苹果iPhone全球销量同比激增26%,在中国市场平均售价上涨20%
    伯恩斯坦:二月苹果iPhone全球销量同比激增26%,在中国市场平均售价上涨20%

    伯恩斯坦:二月苹果iPhone全球销量同比激增26%,在中国市场平均售价上涨20% 先来看一组不容小觑的数字:就在刚刚过去的2026年2月,苹果iPhone的全球销量同比激增了26%。这是什么概念?这个表现,甚至比去年同期iPhone 16的销量还高出了20个百分点。而在这波增长浪潮中,中国市场无疑

    手机 4K 超高清 HDR 视频格式有了行业标准 爱奇艺、优酷、腾讯、B站等起草
    手机 4K 超高清 HDR 视频格式有了行业标准 爱奇艺、优酷、腾讯、B站等起草

    国家广播电视总局科技司今日发布关于对《面向移动终端的超高清视频分发格式规范》广播电视和网络视听行业标准报批稿进行公示的通知 广播电视和网络视听行业的标准制定工作又向前迈进了一步。按照既定程序和计划,国家广播电视总局近日组织相关单位完成了《面向移动终端的超高清视频分发格式规范》行业标准的编制工作。目前

    索尼推出“Playerbase”计划:将真实玩家扫描植入PS第一方游戏
    索尼推出“Playerbase”计划:将真实玩家扫描植入PS第一方游戏

    索尼推出“玩家基地”计划:将真实玩家扫描植入PS第一方游戏 最近,游戏界有个大动作值得关注。索尼正式宣布启动名为“玩家基地”的新计划,准备推出一套完整的流程,将真实玩家的形象扫描并植入到PlayStation工作室的游戏之中。这套创新的流程,背后是摄影测量、动作捕捉与玩家数据技术的融合。 索尼互动娱

    4TB数据搬运:物理传输更高效
    4TB数据搬运:物理传输更高效

    在千兆宽带、5G通信与云服务深度普及的2026年,大众普遍以为超大文件传输已步入“秒级时代”,但现实远未达到这般畅快。当面对数TB乃至数十TB级别的庞大数据集时,当下最可靠、最迅捷且兼顾安全性的传输方案,依然是“物理位移”——依靠人工携带存储介质完成跨地域交付。一位来自河南信阳的用户讲述了真实经历:他曾需将4TB资料从信阳送往郑州,首次尝试纯网络传输,系统预估总耗时近72小时;最终改用专人驱车运送,单程仅需约2.5小时,当天即完成取件与送达,整体效率显著超越线上方式。该实例迅速引发热议,多位资深IT博主随

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。