当前位置:

首页 > CVPR 2024 | 跳舞时飞扬的裙摆,AI也能高度还原了,南洋理工提出动态人体渲染新范式

CVPR 2024 | 跳舞时飞扬的裙摆,AI也能高度还原了,南洋理工提出动态人体渲染新范式

AIxiv专栏是本站发布学术、技术内容的栏目。过去数年,本站AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com。在日常活动中,人的运动经常引起衣服的附属运动(secondarymotionofclothes)并因此产生不同的衣服褶皱,而这需要对人体及衣服的几何、运动(人体姿态及速度动力学等)及外

CVPR 2024 | 跳舞时飞扬的裙摆,AI也能高度还原了,南洋理工提出动态人体渲染新范式

AIxiv专栏是本站发布学术、技术内容的栏目。过去数年,本站AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com。

在日常活动中,人的运动经常引起衣服的附属运动 (secondary motion of clothes) 并因此产生不同的衣服褶皱,而这需要对人体及衣服的几何、运动(人体姿态及速度动力学等)及外观同时进行动态建模。由于此过程涉及复杂的人与衣服的非刚体物理交互,导致传统三维表征往往难以应对。

近年从视频序列中学习动态数字人渲染已取得了极大的进展,现有方法往往把渲染视为从人体姿态到图像的神经映射,采用 「运动编码器—运动特征—外观解码器」的范式。而该范式基于图像损失做监督,过于关注每一帧图像重建而缺少对运动连续性的建模,因此对复杂运动如 「人体运动及衣服附属运动」难以有效建模。

为解决这一问题,来自新加坡南洋理工大学 S-Lab 团队提出运动—外观联合学习的动态人体重建新范式,并提出了基于人体表面的三平面运动表征 (surface-based triplane),把运动物理建模和外观建模统一在一个框架中,为提升动态人体渲染质量开辟了新的思路。该新范式可有效对衣服附属运动建模,并可用于从快速运动的视频(如跳舞)中学习动态人体重建,以及渲染运动相关的阴影。在渲染效率上比三维体素渲染方法快 9 倍,LPIPS 图像质量提高约 19 个百分点。

CVPR 2024 | 跳舞时飞扬的裙摆,AI也能高度还原了,南洋理工提出动态人体渲染新范式

  • 论文标题:SurMo: Surface-based 4D Motion Modeling for Dynamic Human Rendering
  • 论文地址:https://arxiv.org/pdf/2404.01225.pdf
  • 项目主页:https://taohuumd.github.io/projects/SurMo
  • Github 链接:https://github.com/TaoHuUMD/SurMo
CVPR 2024 | 跳舞时飞扬的裙摆,AI也能高度还原了,南洋理工提出动态人体渲染新范式
方法概览

CVPR 2024 | 跳舞时飞扬的裙摆,AI也能高度还原了,南洋理工提出动态人体渲染新范式

针对已有范式「运动编码器—运动特征—外观解码器」只关注于外观重建而忽略运动连续性建模的缺点,提出了新范式 SurMo :「①运动编码器—运动特征——②运动解码器、③外观解码器」。如上图所示,该范式分为三个阶段:

  • 区别于已有方法在稀疏三维空间对运动建模,SurMo 提出基于人体表面流形场(或紧凑的二维纹理 UV 空间)的四维(XYZ-T)运动建模,并通过定义在人体表面的三平面(surface-based triplane)来表征运动。
  • 提出运动物理解码器去根据当前运动特征(如三维姿态、速度、运动轨迹等)预测下一帧运动状态,如运动的空间偏导—表面法向量和时间偏导—速度,以此对运动特征做连续性建模。
  • 四维外观解码,对运动特征在时序上解码以此渲染三维自由视点视频,主要通过混合体素—纹理神经渲染方式实现 (Hybrid Volumetric-Textural Rendering, HVTR [Hu et al. 2022]).

SurMo 可基于重建损失和对抗损失端到端训练,从视频中学习动态人体渲染。

实验结果

该研究在 3 个数据集,共 9 个动态人体视频序列上进行了实验评估: ZJU-MoCap [Peng et al. 2021], AIST++ [Li, Yang et al. 2021] MPII-RRDC [Habermann et al. 2021] .

新视点时序渲染

该研究在 ZJU-MoCap 数据集上探究在新视点下对一段时序的动态渲染效果 (time-varying appearances),特别研究了 2 段序列,如下图所示。每段序列包含相似的姿态但出现在不同的运动轨迹中,如①②,③④,⑤⑥。SurMo 可对运动轨迹建模,因此生成随时间变化的动态效果,而相关的方法生成的结果只取决于姿态,在不同轨迹下衣服的褶皱几乎一样。

CVPR 2024 | 跳舞时飞扬的裙摆,AI也能高度还原了,南洋理工提出动态人体渲染新范式

CVPR 2024 | 跳舞时飞扬的裙摆,AI也能高度还原了,南洋理工提出动态人体渲染新范式

渲染运动相关的阴影及衣服附属运动

SurMo 在 MPII-RRDC 数据集上探究了运动相关的阴影及衣服附属运动,如下图所示。该序列在室内摄影棚拍摄,在灯光条件下,由于自遮挡问题,表演者身上会出现与运动相关的阴影。

SurMo 在新视点渲染下,可恢复这些阴影,如①②,③④,⑦⑧。而对比方法 HumanNeRF [Weng et al.] 则无法恢复与运动相关的阴影。此外,SurMo 可重建随运动轨迹变化的衣服附属运动,如跳跃运动中不同的褶皱 ⑤⑥,而 HumanNeRF 无法重建该动态效果。

CVPR 2024 | 跳舞时飞扬的裙摆,AI也能高度还原了,南洋理工提出动态人体渲染新范式

渲染快速运动的人体

SurMo 也从快速运动的视频中渲染人体,并恢复与运动相关的衣服褶皱细节,而对比方法则无法渲染出这些动态细节。

CVPR 2024 | 跳舞时飞扬的裙摆,AI也能高度还原了,南洋理工提出动态人体渲染新范式

消融实验

(1)人体表面运动建模

该研究对比了两种不同的运动建模方式:目前常用的在体素空间 (Volumetric space) 的运动建模,以及 SurMo 提出的在人体表面流形场的运动建模 (Surface manifold) ,具体比较了 Volumetric triplane 与 Surface-based triplane,如下图所示。

CVPR 2024 | 跳舞时飞扬的裙摆,AI也能高度还原了,南洋理工提出动态人体渲染新范式

可以发现,Volumetric triplane 是一种稀疏表达,仅有大约 21-35% 的特征用于渲染,而 Surface-based triplane 特征利用率可达 85%,因此在处理自遮挡方面更有优势,如(d)所示。同时 Surface-based triplane 可通过体素渲染中过滤部分远离表面的点实现更快的渲染,如图(c)所示。

CVPR 2024 | 跳舞时飞扬的裙摆,AI也能高度还原了,南洋理工提出动态人体渲染新范式

同时,该研究论证 Surface-based triplane 可比 Volumetric triplane 在训练过程收敛更快,在衣服褶皱细节、自遮挡上均有明显优势,如上图所示。

(2)动力学学习

SurMo 通过消融实验研究了运动建模的效果,如下图所示。结果显示,SurMo 可解耦运动的静态特性(如某一帧下固定姿态)及动态特性(如速度)。例如当改变速度的时候,贴身衣服褶皱不变,如①,而宽松衣服褶皱则受速度影响较大,如②,这与日常人们的观测相一致。

CVPR 2024 | 跳舞时飞扬的裙摆,AI也能高度还原了,南洋理工提出动态人体渲染新范式

本文内容来源于互联网,如有侵权请联系删除。
作者最新文章
相关文章 更多
Siri等明年!苹果WWDC25给AI交底:画小饼,继续熬
Siri等明年!苹果WWDC25给AI交底:画小饼,继续熬

不求速胜,熬吧。

比特现金未来:可扩展性与支付潜力
比特现金未来:可扩展性与支付潜力

比特现金(BCH)的未来发展前景看好。凭借其可扩展性、支付采用、价值存储、智能合约和坚实的社区支持,比特现金有望在多个领域取得显著发展,成为一种多功能且广泛使用的加密货币。

ACH总量10亿,价值与用途详解
ACH总量10亿,价值与用途详解

ACH 总共发行了 10 亿枚,用于支付网关费用、治理投票和质押奖励。ACH 基于 BEP-20 标准,采用 PoS 机制,可通过私募、公募和生态系统分配获取,其价值受服务需求、实用性和市场趋势影响,可在币安、火币等交易所购买。

Coinbase Pro设置指南:下载、登录与自定义
Coinbase Pro设置指南:下载、登录与自定义

Coinbase Pro 设置步骤:下载并安装软件后,打开并登录,点击右上角齿轮图标进入“首选项”。在首选项中,你可以调整界面、安全、通知、交易和API设置,完成后点击“保存”按钮确认更改。

IoTeX等基础设施如何赋能IoT生态
IoTeX等基础设施如何赋能IoT生态

IoTeX、DePHY和peaq是构建物联网生态系统的关键基础设施。IoTeX提供去中心化网络,确保物联网交易和数据的安全性。DePHY利用区块链技术实现频谱共享和自治管理。peaq促进设备间的数据标准化和共享。通过这些基础设施的协同作用,物联网生态系统实现了去中心化、安全、互操作性和自治,充分释放了物联网的潜力。

DOGE发行价多少
DOGE发行价多少

波场etf代码
波场etf代码

TRX浏览器查询地址
TRX浏览器查询地址

ChainLink跑路了吗
ChainLink跑路了吗

什么叫Toncoin杠杆
什么叫Toncoin杠杆

查看更多
精品专题 更多
装机必备
装机必备

正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

Windows
Windows

正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

macOS软件
macOS软件

正软商城macOS软件专区,精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具,提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

Mac软件 更多
灵活计算器
灵活计算器
macOS/iOS/Android

灵活计算器是一款笔记式算数应用,支持实时计算、动态关联和云端同步功能。记录、整理和输出之间的过渡会更自然,适合长期写作、做笔记或持续沉淀个人内容。

赤友清理大师
赤友清理大师
macOS

赤友清理大师是一款为 Mac 设计的智能清理优化工具,可精准扫描垃圾、大文件、重复文件等,释放磁盘空间。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

WINDOWS 更多
Windows 10
Windows 10
Windows

Windows 10 是一款微软推出的经典操作系统,拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起,适合需要持续观察和微调设备状态的场景。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

密码键盘
密码键盘
Windows/macOS/iOS/Android

密码键盘是一款兼具安全性与便捷性的高效密码管理器。日常使用里的持续防护和信息管理会更突出,适合把安全控制放进长期使用流程中的场景。