当前位置:

首页 > 业界资讯 > 生成25帧高质量动画的两步方法,使用SVD计算占比为8% | 可在线播放

生成25帧高质量动画的两步方法,使用SVD计算占比为8% | 可在线播放

耗费的计算资源仅为传统StableVideoDiffusion(SVD)模型的2/25!AnimateLCM-SVD-xt发布,一改视频扩散模型进行重复去噪,既耗时又需大量计算的问题。先来看一波生成的动画效果。赛博朋克风轻松驾驭,男孩头戴耳机,站在霓虹闪烁的都市街道:图片写实风也可以,一对新婚夫妇依偎在一起,手捧精致花束,在古老石墙下见证爱情:图片科幻风,也有了外星人入侵地球的即视感:图片AnimateLCM-SVD-xt由来自香港中文大学MMLab、AvolutionAI、上海人工智能实验室、商汤研究院

本文目录

    耗费的计算资源仅为传统Stable Video Diffusion(SVD)模型的2/25!

    AnimateLCM-SVD-xt发布,一改视频扩散模型进行重复去噪,既耗时又需大量计算的问题。

    先来看一波生成的动画效果。

    赛博朋克风轻松驾驭,男孩头戴耳机,站在霓虹闪烁的都市街道:

    两步生成25帧高质量动画,计算为SVD的8% | 在线可玩图片

    写实风也可以,一对新婚夫妇依偎在一起,手捧精致花束,在古老石墙下见证爱情:

    两步生成25帧高质量动画,计算为SVD的8% | 在线可玩图片

    科幻风,也有了外星人入侵地球的即视感:

    两步生成25帧高质量动画,计算为SVD的8% | 在线可玩图片

    AnimateLCM-SVD-xt由来自香港中文大学MMLab、Avolution AI、上海人工智能实验室、商汤研究院的研究人员共同提出。

    两步生成25帧高质量动画,计算为SVD的8% | 在线可玩图片

    2~8步就能生成25帧分辨率576x1024的高质量动画,并且无需分类器引导,4步生成的视频就能实现高保真,比传统SVD更快、效率更高:

    两步生成25帧高质量动画,计算为SVD的8% | 在线可玩图片

    目前,AnimateLCM代码即将开源,有在线demo可试玩。

    上手试玩demo

    在demo界面可以看到,AnimateLCM目前有三个版本,AnimateLCM-SVD-xt是通用图像到视频生成;AnimateLCM-t2v倾向个性化文本到视频生成;AnimateLCM-i2v为个性化图像到视频生成。

    两步生成25帧高质量动画,计算为SVD的8% | 在线可玩图片

    下面是一个配置区域,可以选择基础的Dreambooth模型,也可以选择LoRA模型,并通过滑动条调整LoRA alpha值等。

    两步生成25帧高质量动画,计算为SVD的8% | 在线可玩图片

    接下来可以输入Prompt、负面prompt,指导生成的动画内容和质量:

    两步生成25帧高质量动画,计算为SVD的8% | 在线可玩图片

    还有一些参数可以调整:

    两步生成25帧高质量动画,计算为SVD的8% | 在线可玩图片

    我们上手体验了一把,提示词为“clouds in the sky”,参数设置如上图,采样步骤仅为4步时,生成的效果是这样婶儿的:

    两步生成25帧高质量动画,计算为SVD的8% | 在线可玩图片

    采样步骤为25步时,提示词“a boy holding a rabbit”,效果如下:

    两步生成25帧高质量动画,计算为SVD的8% | 在线可玩图片

    再看看一波官方放出的展示效果。2步、4步、8步效果对比如下:

    两步生成25帧高质量动画,计算为SVD的8% | 在线可玩图片

    步数越多,动画质量越好,仅4步AnimateLCM就能做到高保真:

    两步生成25帧高质量动画,计算为SVD的8% | 在线可玩图片

    各种风格都能实现:

    两步生成25帧高质量动画,计算为SVD的8% | 在线可玩图片

    两步生成25帧高质量动画,计算为SVD的8% | 在线可玩图片

    怎么做到的?

    要知道,虽然视频扩散模型因能生成连贯且高保真度的视频而受到越来越多的关注,但难题之一是迭代去噪过程不仅耗时而且计算密集,这也就限制了它的应用范围。

    而在AnimateLCM这项工作中,研究人员受到一致性模型(CM)启发,该模型简化了预训练的图像扩散模型以减少采样所需的步骤,并在条件图像生成上成功扩展了潜在一致性模型(LCM)。

    两步生成25帧高质量动画,计算为SVD的8% | 在线可玩图片

    具体来说,研究人员提出了一种解耦的一致性学习(Decoupled Consistency Learning)策略。

    首先在高质量的图像-文本数据集上蒸馏稳定扩散模型为图像一致性模型,然后在视频数据上进行一致性蒸馏以获得视频一致性模型。这种策略通过在空间和时间层面上分别训练,提高了训练效率。

    两步生成25帧高质量动画,计算为SVD的8% | 在线可玩图片

    此外,为了能够在Stable Diffusion社区中实现即插即用适配器的各种功能(例如,用ControlNet实现可控生成),研究人员又提出了Teacher-Free自适应(Teacher-Free Adaptation)策略,使现有的控制适配器更符合一致性模型,实现更好的可控视频生成。

    两步生成25帧高质量动画,计算为SVD的8% | 在线可玩图片

    定量和定性实验都证明了方法的有效性。

    在UCF-101数据集上的零样本文本到视频生成任务中,AnimateLCM在FVD和CLIPSIM指标上均取得了最佳性能。

    两步生成25帧高质量动画,计算为SVD的8% | 在线可玩图片

    两步生成25帧高质量动画,计算为SVD的8% | 在线可玩图片

    消融研究验证了解耦一致性学习和特定初始化策略的有效:

    两步生成25帧高质量动画,计算为SVD的8% | 在线可玩图片

    项目链接:
    [1]https://animatelcm.github.io/

    [2]https://huggingface.co/wangfuyun/AnimateLCM-SVD-xt

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    业界资讯 动画
    上一篇: 审查数据流中的问题并进行修复
    下一篇: 解决连接到Apple ID服务器的问题
    相关文章 更多
    CSS3实现动态翻牌效果 仿百度贴吧3D翻牌一次动画特效
    CSS3实现动态翻牌效果 仿百度贴吧3D翻牌一次动画特效

    利用CSS3的perspective、transform-style和backface-visibility属性,结合rotateY变换实现3D翻牌效果。鼠标悬停时,卡片正面图片与背面文字同步旋转180度,形成流畅翻转动画,无需JavaScript,兼容性好,立体感强,适用于产品展示、名片翻页等场景。

    录屏怎么保存gif动图? UOS录屏生成Gif动画的技巧
    录屏怎么保存gif动图? UOS录屏生成Gif动画的技巧

    UOS录屏怎么生成Gif动画?其实操作比想象中简单,关键是选对保存格式,下面就把具体步骤拆开讲清楚。 打开系统自带的截图录屏程序,这个工具默认就在开始菜单里,找到它直接启动就行。 接下来,用鼠标拖动选定你要录制的区域——想录多大就拉多大,够灵活。选定之后,点击工具栏上的【录屏】按钮,开始录制。 关键

    索尼推出“Playerbase”计划:将真实玩家扫描植入PS第一方游戏
    索尼推出“Playerbase”计划:将真实玩家扫描植入PS第一方游戏

    索尼推出“玩家基地”计划:将真实玩家扫描植入PS第一方游戏 最近,游戏界有个大动作值得关注。索尼正式宣布启动名为“玩家基地”的新计划,准备推出一套完整的流程,将真实玩家的形象扫描并植入到PlayStation工作室的游戏之中。这套创新的流程,背后是摄影测量、动作捕捉与玩家数据技术的融合。 索尼互动娱

    京东积存金手续费是多少?怎么算?
    京东积存金手续费是多少?怎么算?

    随着黄金价格持续攀升,越来越多的人开始关注黄金投资,京东积存金成为不少人的选择之一,甚至还能兑换实物黄金。但很多人对京东积存金的手续费问题还不太清楚,具体怎么计算呢?京东积存金手续费是多少目前的手续费是0.3%,不过据消息称未来可能会进一步上调。之前一直在京东购买黄金产品,手续费一路涨上来,前几天买了10克,平台赚了30块,我自己才赚3块,感觉像是在给平台打工。京东积存金手续费如何计算京东积存金的特点是买入免手续费,卖出则收取0.4%的手续费(自4月调整后)。相比之下,如果长期持有,成本会更可控一些。此前

    PPT怎么加动画?详细步骤教学
    PPT怎么加动画?详细步骤教学

    PPT添加动画的关键在于掌握技巧并合理使用。PPT动画主要分为进入、强调、退出和路径四类,分别用于控制对象的出现、突出显示、消失及沿路径移动。选择动画时应根据表达需求,如用强调动画突出数据,路径动画引导步骤。添加动画需先选中对象,再通过“动画”选项卡选择效果,并利用“动画窗格”调整时间、顺序等参数。一个对象可添加多个动画,注意逻辑顺序以实现流畅效果。提升动画专业性需控制数量,每页1-2种为宜,选择与内容匹配的效果,保持适中速度(0.5-1秒),并利用触发器增强互动性。常见问题如动画不流畅可通过减少复杂度解

    PHP编程中2的幂次方如何计算?
    PHP编程中2的幂次方如何计算?

    PHP是一种常用的服务器端脚本语言,广泛应用于Web开发领域。在PHP编程中,计算2的幂次方是一种常见的操作,可以通过简单的代码实现。接下来我们将详细介绍如何在PHP中计算2的幂次方,并提供具体的代码示例。在PHP中计算2的幂次方,可以利用位运算来实现,位运算是一种对二进制数值进行操作的方法。对于2的幂次方来说,可以通过位移运算来得到结果。具体的代码示例如下

    ​excel怎么快速计算表格数据?​excel表格常用函数公式分享
    ​excel怎么快速计算表格数据?​excel表格常用函数公式分享

      在工作中,不少朋友经常会使用Excel表格记录一些数据,这款电子表格软件提供了许多强大的函数公式,可以帮助我们更高效地进行计算,数据量少的时候还没什么感觉,如果是处理大量的数据,那么就会感觉非常有用。这里给朋友们介绍15个常用的Excel函数公式,希望对你有帮助。  1、求和:SUM函数SUM函数用于对一列或一组单元格中的数字进行求和。它可以简单地将所有数字相加,也可以根据指定的条件进行求和。例如:=SUM(A1:J10),这个公式将会计算A1到J10单元格范围内所有数字的总和。  2、平均值:AVE

    Linux上如何统计一个目录中的文件数量
    Linux上如何统计一个目录中的文件数量

    如果您使用的是操作系统,则必须计算目录中可用文件的数量,因为它提供了内容的简要概述。它允许您限制存储空间,并获取不必要的大文件的详细信息。此外,作为Bash脚本用户,您可以计算文件的数量,以自动执行特定任务并限制其中的数量。然而,很多初学者都想了解如何检查文件的数量。因此,我们在博客中提供了多个命令,可以帮助他们快速计算目录中可用文件的数量。如何在Linux上计算目录中的文件数让我们将本指南分成多个部分,其中我们将解释计算Linux中文件数的不同命令。1.Wc命令您可以使用”wc”

    修复PowerPoint中的动画问题
    修复PowerPoint中的动画问题

    您是否正在尝试制作演示文稿,但无法添加动画?如果动画在你的WindowsPC上的PowerPoint中不起作用,那么这篇文章将会帮助你。这是一个常见的问题,许多人都在抱怨。例如,在Microsoft团队中演示或在屏幕录制期间,动画可能会停止工作。在本指南中,我们将探索各种故障排除技术,以帮助您修复在Windows上的PowerPoint中无法运行的动画。为什么我的PowerPoint动画不起作用?我们注意到可能导致Windows上PowerPoint中的动画无法工作问题的一些可能原因如下:由于个别附加动画

    顶尖的免费人工智能图像创作工具
    顶尖的免费人工智能图像创作工具

    如果您渴望找到顶尖的免费AI动画艺术生成器,您可以结束搜索了。动漫艺术世界几十年来一直以其独特的角色设计、迷人的色彩和引人入胜的情节吸引着观众。不过,创作动漫艺术需要天赋、技能和耗费大量时间。然而,随着人工智能(AI)的不断发展,现在你可以借助最佳的免费AI动画艺术生成器,无需深入了解复杂技术,就能探索动漫艺术的世界。这将为你释放创造力提供新的可能性。什么是人工智能动漫艺术生成器?AI动画艺术生成器利用复杂的算法和机器学习技术,分析广泛的动画作品数据库。通过这些算法,系统学习并识别不同动漫风格的模式、风格

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。