当前位置:

首页 > 新标题:实时渲染进化!基于射线的三维重建创新方法

新标题:实时渲染进化!基于射线的三维重建创新方法

图片论文链接:https://arxiv.org/pdf/2310.19629代码链接:https://github.com/vLAR-group/RayDF主页:需要进行改写的内容是:https://vlar-group.github.io/RayDF.html重新撰写的内容:实施方法:RayDF的整体流程和组成部分如下所示(见图1)一、Introduction在机器视觉和机器人领域的许多前沿应用中,学习准确且高效的三维形状表达是非常重要的。然而,现有的基于三维坐标的隐式表达在表示三维形状或是渲染二维图

新标题:实时渲染进化!基于射线的三维重建创新方法图片

论文链接:https://arxiv.org/pdf/2310.19629

代码链接:https://github.com/vLAR-group/RayDF

主页:需要进行改写的内容是:https://vlar-group.github.io/RayDF.html

重新撰写的内容: 实施方法:

新标题:实时渲染进化!基于射线的三维重建创新方法

RayDF的整体流程和组成部分如下所示(见图1)

一、Introduction

在机器视觉和机器人领域的许多前沿应用中,学习准确且高效的三维形状表达是非常重要的。然而,现有的基于三维坐标的隐式表达在表示三维形状或是渲染二维图像时,需要耗费昂贵的计算成本;相比之下,基于射线的方法能够高效地推断出三维形状。然而,已有的基于射线的方法没有考虑到多视角下的几何一致性,导致在未知视角下难以恢复出准确的几何形状

针对这些问题,本论文提出一个全新的维护了多视角几何一致性的基于射线的隐式表达方法RayDF。该方法基于简单的射线-表面距离场(ray-surface distance field),通过引入全新的双射线可见性分类器(dual-ray visibility classifier)和多视角一致性优化模块(multi-view consistency optimization module),学习得到满足多视角几何一致的射线-表面距离。实验结果表明,改方法在三个数据集上实现了优越的三维表面重建性能,并达到了比基于坐标的方法快1000倍的渲染速度(见Table 1)。

新标题:实时渲染进化!基于射线的三维重建创新方法

以下是主要的贡献:

  • 采用射线-表面距离场来表示三维形状,这个表达比现有的基于坐标的表达更高效。
  • 设计了全新的双射线可见性分类器,通过学习任意一对射线的空间关系,使得所学的射线-表面距离场能够在多视角下保持几何一致性。
  • 在多个数据集上证明了该方法在三维形状重建上的准确性和高效性。

二、Method

2.1 Overview

如图1所示,RayDF包含两个网络及一个优化模块。对于主网络ray-surface distance network,只需输入一条射线,即可得到射线起点到射线打到的几何表面点之间的距离值。其中,如图2所示,RayDF使用一个包围三维场景的球对输入的射线进行参数化,将参数化得到的四维球坐标(入射点和出射点)作为网络输入。对于辅助网络dual-ray visibility classifier,输入一对射线和一个几何表面点,预测两条射线之间的相互可见性。这个辅助网络在训练好之后,将在后续multi-view consistency optimization module中起到关键作用。

新标题:实时渲染进化!基于射线的三维重建创新方法

图 2 射线-表面距离场的射线参数化及网络结构

2.2 Dual-ray Visibility Classifier

该方法中的辅助网络是一个预测输入的两条射线是否能同时看到一个表面点的二元分类器。如图3所示,将输入的两条射线所得特征取平均值,以确保预测的结果不受两条射线的顺序所影响。同时,将表面点进行单独编码得到的特征拼接在射线特征之后,以增强射线特征,从而提升分类器的准确性。

新标题:实时渲染进化!基于射线的三维重建创新方法

双射线可见性分类器的框架结构如图3所示

2.3 Multi-view Consistency Optimization

以设计的主网络ray-surface distance network和辅助网络dual-ray visibility classifier为铺垫,引入多视角一致性优化这一关键模块,对两个网络进行two-stage训练。

(1) 首先为辅助网络dual-ray visibility classifier构造用于训练的射线对。对于一张图片中的一条射线(对应图片中的一个像素),通过其ray-surface distance可知对应的空间表面点,将其投影到训练集中的剩余视角下,即得到另一个射线;而该射线有其对应的ray- surface distance,文章设置阈值10毫米来判断两条射线是否相互可见。

(2) 第二阶段是训练主网络ray-surface distance network使其预测的距离场满足多视角一致性。如图4所示,对于一条主射线及其表面点,以该表面点为球心均匀采样,得到若干条multi-view ray。将主射线与这些multi-view ray一一配对,通过训练好的dual-ray visibility classifier即可得到其相互可见性。再通过ray-surface distance network预测这些射线的ray-surface distance;若主射线与某一条采样射线是相互可见的,那么两条射线的ray-surface distances计算得到的表面点应是同一个点;依此设计了对应的损失函数,并对主网络进行训练,最终可以使ray-surface distance field满足多视角一致性。   

新标题:实时渲染进化!基于射线的三维重建创新方法

2.4 Surface Normal Derivation and Outlier Points Removal

由于在场景表面边缘处的深度值往往存在突变(存在不连续性),而神经网络又是连续函数,上述ray-surface distance field在表面边缘处容易预测出不够准确的距离值,从而导致边缘处的几何表面存在噪声。好在,设计的ray-surface distance field有一个很好的特性,如图5所示,每个估计的三维表面点的法向量都可以通过网络的自动微分以闭合形式轻松求出。因此,可以在网络推理阶段计算表面点的法向量欧氏距离,若该距离值大于阈值,则该表面点被视作离群点并剔除,从而得到干净的三维重建表面。

新标题:实时渲染进化!基于射线的三维重建创新方法

图 5 Surface normal计算

三、Experiments

为了验证所提出方法的有效性,我们在三个数据集上进行了实验。这三个数据集分别是object-level的合成数据集Blender [1]、scene-level合成数据集DM-SR [2]以及scene-level真实数据集ScanNet [3]。我们选择了七个baselines进行性能对比。其中,OF [4]/DeepSDF [5]/NDF [6]/NeuS [7]是基于坐标的level-set方法,DS-NeRF [8]是有depth监督的NeRF-based方法,LFN [9]和PRIF [10]是基于射线的两个baselines

由于RayDF方法的易于直接增加一个radiance分支来学习纹理,因此可以与支持预测radiance field的基准模型进行比较。因此,本论文的对比实验分为两组,第一组(Group 1)仅预测距离(几何),第二组(Group 2)同时预测距离和辐射度(几何和纹理)

3.1 Evaluation on Blender Dataset

从Table 2和图6可以看出,在Group 1和2中,RayDF在表面重建上取得了更优的结果,尤其是在最重要的 ADE 指标上明显优于基于坐标和射线的baselines。同时在radiance field rendering上,RayDF也取得了与DS-NeRF相当的性能,并优于LFN和PRIF。

新标题:实时渲染进化!基于射线的三维重建创新方法

新标题:实时渲染进化!基于射线的三维重建创新方法

图 6 Blender数据集可视化对比

3.2 Evaluation on DM-SR Dataset

从Table 3可以看出,在最关键的 ADE 指标上,RayDF超越了所有baselines。同时,在Group 2的实验中,RayDF能够在获得高质量的新视图合成的同时,保证恢复出准确的表面形状(见图7)。

新标题:实时渲染进化!基于射线的三维重建创新方法

新标题:实时渲染进化!基于射线的三维重建创新方法

图 7 DM-SR数据集可视化对比

3.3 Evaluation on ScanNet Dataset

表4比较了RayDF和baselines在具有挑战性的真实世界场景中的性能。在第一组和第二组中,RayDF在几乎所有评估指标上都明显优于baselines,展现出在恢复复杂的真实世界三维场景方面的明显优势

新标题:实时渲染进化!基于射线的三维重建创新方法

新标题:实时渲染进化!基于射线的三维重建创新方法

以下是图8 ScanNet数据集可视化对比的重写内容: 在图8中,我们展示了ScanNet数据集的可视化对比结果

3.4 Ablation Study

在Blender数据集上进行了消融实验,论文中的Table 5展示了对于关键的双光线可见性分类器的消融实验结果

  • 如Table 5 (1)所示,如果没有dual-ray visibility classifier的帮助,ray-surface distance field则会无法对新视角下的射线预测出合理的距离值(见图9)。
  • 在classifier的输入中,选择了输入表面点坐标来作为辅助,如Table 5 (2)和(3)所示,若选择输入表面点距离值作为辅助或是不提供辅助信息,分类器会获得较低的准确率和F1分数,导致为ray-surface distance network提供的可见性信息不够准确,进而预测出错误的距离值。
  • 如Table 5 (4)所示,以非对称的方式输入一对射线,所训练得到的分类器准确率较高,但F1分数较低。这表明,这种分类器的鲁棒性明显低于用对称输入射线训练的分类器。

其他的切除操作可以在论文和论文附录中查看

新标题:实时渲染进化!基于射线的三维重建创新方法

新标题:实时渲染进化!基于射线的三维重建创新方法

需要重新写的内容是: 图9展示了使用分类器和不使用分类器的可视化对比

四、Conclusion

在使用基于射线的多视角一致性框架进行研究时,论文得出了一个结论,即可以通过这种方法高效、准确地学习三维形状表示。论文中使用了简单的射线-表面距离场来表示三维形状的几何图形,并利用新颖的双射线可见性分类器进一步实现了多视角几何一致性。通过在多个数据集上的实验证明,RayDF方法具有极高的渲染效率和出色的性能。欢迎对RayDF框架进行进一步扩展。您可以在主页上查看更多的可视化结果

需要进行改写的内容是:https://vlar-group.github.io/RayDF.html

新标题:实时渲染进化!基于射线的三维重建创新方法

需要进行重新写作的内容是:原文链接:https://mp.weixin.qq.com/s/dsrSHKT4NfgdDPYcKOhcOA

本文内容来源于互联网,如有侵权请联系删除。
作者最新文章
相关文章 更多
腾讯智能体开源升级,关键科技全面开放
腾讯智能体开源升级,关键科技全面开放

不谈智能体,客户都不见你。腾讯云副总裁、腾讯云智能负责人、腾讯优图实验室负责人吴运声在采访中坦言。这意味着,如今提供云服务,若没有智能体相关的硬核能力,已难以打动客户。在2025腾讯全球数字生态大会上,腾讯云给出了自己的回应:正式发布智能体开发平台3.0(ADP3.0),并宣布腾讯优图实验室的关键智能体技术将逐步开源。据悉,该版本历经近三个月集中迭代,累计上线近600项功能,在RAG能力、Workflow流程、多智能体协作、应用评测及插件生态等方面实现全面升级。更值得关注的是,腾讯云透露未来数月将持续开源

Tachyum发布TDIMM内存技术 单条带宽281GB/s
Tachyum发布TDIMM内存技术 单条带宽281GB/s

11月26日,据相关报道,Tachyum正式推出其全新研发的TDIMM内存技术,旨在为人工智能与高性能计算领域带来更高带宽、更大容量及更低功耗的先进解决方案。该技术基于Tachyum旗下的ProdigyUltimate处理器平台构建,单条TDIMM模块可实现高达281GB/s的带宽,相较当前主流的DDR5内存提升了约5.5倍。ProdigyUltimate处理器支持多达24个内存通道,使系统总带宽达到惊人的6.7TB/s,约为传统12通道CPU系统的11倍水平。在存储容量方面,标准版TDIMM提供

惠普G5喷墨技术发布,引领家用打印新体验
惠普G5喷墨技术发布,引领家用打印新体验

9月23日,2025惠普创新喷墨打印技术媒体分享会在北京圆满举行。惠普正式发布全新一代G5喷墨打印技术,并推出多款面向家庭学习、办公应用及照片打印的全新产品,致力于为中国用户打造更智能、更稳定的打印体验。据悉,G5技术采用先进的墨滴精准控制技术和优化升级的黑色墨水配方,显著提升输出品质,使文字边缘更锐利、图像色彩更逼真。同时具备防荧光笔渗透、防水防褪色等实用性能。其打印头寿命长达2000小时不堵塞,相比上一代延长50%,大幅降低维护频率与使用成本,切实解决家庭用户的日常困扰。此次惠普还

Siri等明年!苹果WWDC25给AI交底:画小饼,继续熬
Siri等明年!苹果WWDC25给AI交底:画小饼,继续熬

不求速胜,熬吧。

比特现金未来:可扩展性与支付潜力
比特现金未来:可扩展性与支付潜力

比特现金(BCH)的未来发展前景看好。凭借其可扩展性、支付采用、价值存储、智能合约和坚实的社区支持,比特现金有望在多个领域取得显著发展,成为一种多功能且广泛使用的加密货币。

ACH总量10亿,价值与用途详解
ACH总量10亿,价值与用途详解

ACH 总共发行了 10 亿枚,用于支付网关费用、治理投票和质押奖励。ACH 基于 BEP-20 标准,采用 PoS 机制,可通过私募、公募和生态系统分配获取,其价值受服务需求、实用性和市场趋势影响,可在币安、火币等交易所购买。

Coinbase Pro设置指南:下载、登录与自定义
Coinbase Pro设置指南:下载、登录与自定义

Coinbase Pro 设置步骤:下载并安装软件后,打开并登录,点击右上角齿轮图标进入“首选项”。在首选项中,你可以调整界面、安全、通知、交易和API设置,完成后点击“保存”按钮确认更改。

IoTeX等基础设施如何赋能IoT生态
IoTeX等基础设施如何赋能IoT生态

IoTeX、DePHY和peaq是构建物联网生态系统的关键基础设施。IoTeX提供去中心化网络,确保物联网交易和数据的安全性。DePHY利用区块链技术实现频谱共享和自治管理。peaq促进设备间的数据标准化和共享。通过这些基础设施的协同作用,物联网生态系统实现了去中心化、安全、互操作性和自治,充分释放了物联网的潜力。

DOGE发行价多少
DOGE发行价多少

波场etf代码
波场etf代码

查看更多
精品专题 更多
装机必备
装机必备

正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

Windows
Windows

正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

macOS软件
macOS软件

正软商城macOS软件专区,精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具,提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

Mac软件 更多
灵活计算器
灵活计算器
macOS/iOS/Android

灵活计算器是一款笔记式算数应用,支持实时计算、动态关联和云端同步功能。记录、整理和输出之间的过渡会更自然,适合长期写作、做笔记或持续沉淀个人内容。

赤友清理大师
赤友清理大师
macOS

赤友清理大师是一款为 Mac 设计的智能清理优化工具,可精准扫描垃圾、大文件、重复文件等,释放磁盘空间。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

WINDOWS 更多
Windows 10
Windows 10
Windows

Windows 10 是一款微软推出的经典操作系统,拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起,适合需要持续观察和微调设备状态的场景。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

密码键盘
密码键盘
Windows/macOS/iOS/Android

密码键盘是一款兼具安全性与便捷性的高效密码管理器。日常使用里的持续防护和信息管理会更突出,适合把安全控制放进长期使用流程中的场景。