当前位置:

首页 > 硬件相关 > 谷歌发布“ Vlogger ”模型:以单张图片生成 10 秒视频

谷歌发布“ Vlogger ”模型:以单张图片生成 10 秒视频

谷歌发布了一个新的视频框架:只需要一张你的头像、一段讲话录音,就能得到一个本人栩栩如生的演讲视频。视频时长可变,目前看到的示例最高为10s。可以看到,无论是口型还是面部表情,它都非常自然。如果输入图像囊括整个上半身,它也能配合丰富的手势:网友看完就表示:有了它,以后咱开线上视频会议再也不需要整理好发型、穿好衣服再去了。嗯,拍一张肖像,录好演讲音频就可以(手动狗头)用声音控制肖像生成视频这个框架名叫VLOGGER。它主要基于扩散模型,并包含两部分:一个是随机的人体到3D运动(human-to-3d-moti

本文目录

    谷歌发布了一个新的视频框架:

    只需要一张你的头像、一段讲话录音,就能得到一个本人栩栩如生的演讲视频。

    视频时长可变,目前看到的示例最高为 10s。

    可以看到,无论是口型还是面部表情,它都非常自然。

    如果输入图像囊括整个上半身,它也能配合丰富的手势:

     谷歌发布“ Vlogger ”模型:单张图片生成 10 秒视频

    网友看完就表示:

    有了它,以后咱开线上视频会议再也不需要整理好发型、穿好衣服再去了。

    嗯,拍一张肖像,录好演讲音频就可以(手动狗头)

     谷歌发布“ Vlogger ”模型:单张图片生成 10 秒视频

    用声音控制肖像生成视频

    这个框架名叫VLOGGER。

    它主要基于扩散模型,并包含两部分:

    一个是随机的人体到 3D 运动(human-to-3d-motion)扩散模型。

    另一个是用于增强文本到图像模型的新扩散架构。

     谷歌发布“ Vlogger ”模型:单张图片生成 10 秒视频

    其中,前者负责将音频波形作为输入,生成人物的身体控制动作,包括眼神、表情和手势、身体整体姿势等等。

    后者则是一个时间维度的图像到图像模型,用于扩展大型图像扩散模型,使用刚刚预测的动作来生成相应的帧。

    为了使结果符合特定的人物形象,VLOGGER 还将参数图像的 pose 图作为输入。

    VLOGGER 的训练是在一个超大的数据集(名叫 MENTOR)上完成的。

    有多大?全长 2200 小时,共包含 80 万个人物视频。

    其中,测试集的视频时长也有 120 小时长,共计 4000 个人物。

    谷歌介绍,VLOGGER 最突出的表现是具备多样性:

    如下图所示,最后的像素图颜色越深(红)的部分,代表动作越丰富。

     谷歌发布“ Vlogger ”模型:单张图片生成 10 秒视频

    而和业内此前的同类方法相比,VLOGGER 最大的优势则体现在不需要对每个人进行训练、也不依赖于面部检测和裁剪,并且生成的视频很完整(既包括面部和唇部,也包括肢体动作)等等。

     谷歌发布“ Vlogger ”模型:单张图片生成 10 秒视频

    具体来看,如下表所示:

    Face Reenactment 方法无法用音频和文本来控制此类视频生成。

    Audio-to-motion 倒是可以音频生成,方式也是将音频编码为 3D 人脸动作,不过它生成的效果不够逼真。

    Lip sync 可以处理不同主题的视频,但只能模拟嘴部动作。

    对比起来,后面的两种方法 SadTaker 和 Styletalk 表现最接近谷歌 VLOGGER,但也败在了不能进行身体控制上,并且也不能进一步编辑视频。

     谷歌发布“ Vlogger ”模型:单张图片生成 10 秒视频

    说到视频编辑,如下图所示,VLOGGER 模型的应用之一就是这个,它可以一键让人物闭嘴、闭眼、只闭左眼或者全程睁眼:

     谷歌发布“ Vlogger ”模型:单张图片生成 10 秒视频

    另一个应用则是视频翻译:

    例如将原视频的英语讲话改成口型一致的西班牙语。

    网友吐槽

    最后," 老规矩 ",谷歌没有发布模型,现在能看的只有更多效果还有论文。

    嗯,吐槽也是不少的:

    画质模型、口型抽风对不上、看起来还是很机器人等等。

    因此,有人毫不犹豫打上差评:

    这就是谷歌的水准吗?

     谷歌发布“ Vlogger ”模型:单张图片生成 10 秒视频

    有点对不起 "VLOGGER" 这个名字了。

     谷歌发布“ Vlogger ”模型:单张图片生成 10 秒视频

    ——和 OpenAI 的 Sora 对比,网友的说法确实也不是没有道理。。

    大家觉得呢?

    更多效果:

    https://enriccorona.github.io/vlogger/

    完整论文:

    https://enriccorona.github.io/vlogger/paper.pdf

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    硬件相关 机器人 谷歌 翻译 美图
    上一篇: 获取MySQL操作中发生的错误的数字编码的PHP函数
    下一篇: PHP绘制椭圆曲线
    相关文章 更多
    AI Agent、Genie 4与机器人有什么区别?从任务输入到场景演示
    AI Agent、Genie 4与机器人有什么区别?从任务输入到场景演示

    认识AI Agent、Genie 4与机器人的区别:任务输入不等于完成结果,世界模拟不等于现实执行,装载机动作展示也不能替代完整工程验收。

    OPPO 即将行业首发 5.5G 技术 理论可实现 10 倍连接速率提升
    OPPO 即将行业首发 5.5G 技术 理论可实现 10 倍连接速率提升

    3月28日,OPPOFind系列产品负责人周意保在微博发文,表示OPPO已经进入了5.5G时代。OPPOFindX7系列周意保在微博上传了一张截图,图中的手机锁屏界面右上方状态栏信号一栏显示为5GA,也就是人们更加熟悉的5.5G。此外,周意保也发文称:"和大家一起进入5.5G新移动网络时代!"宣布了5.5G新移动网络时代的到来。OPPOFind系列产品负责人周意保微博有博主表示,OPPOFindX7系列即将行业首发支持5G-A(5.5G),OTA固件已经准备好了。5G-A理论上可以实现10倍提升的连接速率

    谷歌浏览器网页快捷方式怎么创建?Chrome发送到桌面【指南】_果粉控
    谷歌浏览器网页快捷方式怎么创建?Chrome发送到桌面【指南】_果粉控

    通过Chrome内置功能创建网页快捷方式 想要把常用网站变成桌面一键直达的入口?Chrome浏览器内置的快捷方式创建功能就能轻松实现。无论是生成独立应用窗口,还是传统桌面图标,下面这四种方法总有一款适合你。 一、通过地址栏创建桌面快捷方式 这个方法最实用——它能生成一个独立的桌面图标,双击后直接以应

    Chrome官方网页版入口
    Chrome官方网页版入口

    Chrome官方网页版入口:全方位解析谷歌浏览器的核心体验 很多朋友都在问,Chrome官方网页版的入口到底在哪里?答案其实很明确:https://www.google.com/chrome/。这个地址就是通往谷歌浏览器官网在线版的唯一官方大门。接下来,我们不妨深入看看,这个看似简单的页面背后,究竟

    贾跃亭的FF机器人亮相CBS、引爆街头:借势世界杯“轻巧破圈”
    贾跃亭的FF机器人亮相CBS、引爆街头:借势世界杯“轻巧破圈”

    法拉第未来EAI机器人亮相洛杉矶世界杯庆典,被CBS报道,实现零广告费破圈。目前推出三大系列机器人,截至5月累计交付137台,年度目标上调至1500台。近期获7000万美元融资,将发布机器人教育生态战略,加速物理AI领域布局。

    苹果15plus怎么传照片到电脑 苹果15plus传照片到电脑方法
    苹果15plus怎么传照片到电脑 苹果15plus传照片到电脑方法

    手机早已成为中青年人的标配,不同年龄段对手机的需求其实差别不小。iPhone 15 Plus 作为当前热度颇高的机型,功能与服务覆盖得相当全面,能满足各类用户的需求。不过,有个实用问题很多人都会遇到——怎么把照片传到电脑上?今天就把两种主流方法掰开揉碎讲清楚,看完你就知道该怎么操作了。 方法一:数据

    谷歌亲儿子优先升级!安卓17正式版推送:21款设备首发尝鲜
    谷歌亲儿子优先升级!安卓17正式版推送:21款设备首发尝鲜

    谷歌正式推送安卓17系统,首批覆盖Pixel6至10系列共21款机型。新功能包括长按应用气泡菜单、应用内存限制机制、精确/大致定位权限选择,以及遗失设备追踪的FindHub功能,进一步优化隐私与设备管理体验。

    启元机器人加速线下布局:亚洲首店落子深圳,上海全球首店同步筹备
    启元机器人加速线下布局:亚洲首店落子深圳,上海全球首店同步筹备

    启元机器人加速线下布局,亚洲首店已在深圳卓悦中心设围挡,上海全球首店同步筹备,西安等地也在推进中。作为上纬新材在消费级具身智能领域的核心载体,其聚焦个人机器人赛道,研发投入同比增长超500%。

    【城事】001,世界会客厅首位机器人员工上岗
    【城事】001,世界会客厅首位机器人员工上岗

    6月16日,世界会客厅迎来首位智能导览员——编号001的人形机器人正式上岗。它身高约1.7米,通体银白,可提供多语种讲解、智能引导与互动问答,致力于提升智慧化参观体验。同日,世界会客厅举办了年度品牌日暨首秀5周年纪念活动。

    小米 MIUI不再支持自行安装谷歌GMS服务
    小米 MIUI不再支持自行安装谷歌GMS服务

    这几天,一些MIUI用户发现手机装不上谷歌GMS(谷歌移动服务)了。这事儿怎么说呢?小米社区里,多位认证为解答组的人员给出了统一回复:国内版MIUI出于合规原因,没有预置Google服务框架的机型,以后不再支持用户自己安装GMS服务。解答组还贴心地补了一句——如果真要用,可以去酷安搜相关教程。 受影

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。