谷歌发布超强AI视频编辑工具!施展魔法的VLOGGER,音频加图片就搞定唇形和手势,还把表情编辑玩出花了!
出品|51CTO技术栈(微信号:blog51cto)编译丨伊风视频生成模型的脚步永不停歇!图片4月2日,谷歌刚刚发布了强大到可怕的AI视频编辑工具VLOGGER。VLOGGER就像收集了很多视频素材领域的前沿AI技能,而打造出的一款百宝箱。其中也有一些亮点细节,例如通过AI编辑,将让画面中讲话者的闭眼、闭嘴、甚至“wink”。这意味着视频编辑在细节的深入上又精进了一个level!Vlogger的工作原理是根据音频和图像输入,由“读唇器”根据音频预测说话者的动作,而“动画器”根据说话者的照片和动作细节创建视
出品 | 51CTO技术栈(微信号:blog51cto)
编译丨伊风
视频生成模型的脚步永不停歇!
图片
4月2日,谷歌刚刚发布了强大到可怕的AI视频编辑工具VLOGGER。VLOGGER就像收集了很多视频素材领域的前沿AI技能,而打造出的一款百宝箱。其中也有一些亮点细节,例如通过AI编辑,将让画面中讲话者的闭眼、闭嘴、甚至“wink”。
这意味着视频编辑在细节的深入上又精进了一个level!
Vlogger的工作原理是根据音频和图像输入,由“读唇器”根据音频预测说话者的动作,而“动画器”根据说话者的照片和动作细节创建视频帧。
图片
要知道VLOGGER这个百宝箱里都装了什么,可以跟随以下示例来看!
1.VLOGGER的多面能力
基础的图生视频功能
将图片驱动为一段视频。
图片
多语种唇形切换
输入一种语言的视频和另一种语言的音频,它能根据新输入的语言调整说话者的嘴部动作!
顺便一提,OpenAI的VOICE ENGINE也在关注多语种的能力。可以根据一段音频生成一段保留原声音色及口音的外语视频,如果这些能力都能打通,那么音视频内容的出海将会畅通无阻。
图片
表情细节编辑
VLOGGER使得表情编辑更进一步,例如单独控制一只眼睛等。通过使用工具,将生成新的面部表情和动作,用以提升视频的创意。
图片
2.最终效果,进步了但未完全消除“恐怖谷”
图片
毫无疑问VLOGGER的视频留下了令人印象深刻的亮点。如讲话时自然的身体姿势,增加手部运动以在一定程度上提升了视频的真实感。然而,生成的表情和动作比起真实视频还存在机械感重、不流畅的问题,因此会存在一定的“恐怖谷”效应。
参考链接:https://twitter.com/hey_madni/status/1774832882902864327
想了解更多AIGC的内容,请访问:
51CTO AI.x社区
https://www.51cto.com/aigc/
Windows 10 是一款微软推出的经典操作系统,拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起,适合需要持续观察和微调设备状态的场景。
极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。
















