当前位置:

首页 > 业界资讯 > 新标题:实时渲染进化!基于射线的三维重建创新方法

新标题:实时渲染进化!基于射线的三维重建创新方法

图片论文链接:https://arxiv.org/pdf/2310.19629代码链接:https://github.com/vLAR-group/RayDF主页:需要进行改写的内容是:https://vlar-group.github.io/RayDF.html重新撰写的内容:实施方法:RayDF的整体流程和组成部分如下所示(见图1)一、Introduction在机器视觉和机器人领域的许多前沿应用中,学习准确且高效的三维形状表达是非常重要的。然而,现有的基于三维坐标的隐式表达在表示三维形状或是渲染二维图

本文目录

    新标题:实时渲染进化!基于射线的三维重建创新方法图片

    论文链接:https://arxiv.org/pdf/2310.19629

    代码链接:https://github.com/vLAR-group/RayDF

    主页:需要进行改写的内容是:https://vlar-group.github.io/RayDF.html

    重新撰写的内容: 实施方法:

    新标题:实时渲染进化!基于射线的三维重建创新方法

    RayDF的整体流程和组成部分如下所示(见图1)

    一、Introduction

    在机器视觉和机器人领域的许多前沿应用中,学习准确且高效的三维形状表达是非常重要的。然而,现有的基于三维坐标的隐式表达在表示三维形状或是渲染二维图像时,需要耗费昂贵的计算成本;相比之下,基于射线的方法能够高效地推断出三维形状。然而,已有的基于射线的方法没有考虑到多视角下的几何一致性,导致在未知视角下难以恢复出准确的几何形状

    针对这些问题,本论文提出一个全新的维护了多视角几何一致性的基于射线的隐式表达方法RayDF。该方法基于简单的射线-表面距离场(ray-surface distance field),通过引入全新的双射线可见性分类器(dual-ray visibility classifier)和多视角一致性优化模块(multi-view consistency optimization module),学习得到满足多视角几何一致的射线-表面距离。实验结果表明,改方法在三个数据集上实现了优越的三维表面重建性能,并达到了比基于坐标的方法快1000倍的渲染速度(见Table 1)。

    新标题:实时渲染进化!基于射线的三维重建创新方法

    以下是主要的贡献:

    • 采用射线-表面距离场来表示三维形状,这个表达比现有的基于坐标的表达更高效。
    • 设计了全新的双射线可见性分类器,通过学习任意一对射线的空间关系,使得所学的射线-表面距离场能够在多视角下保持几何一致性。
    • 在多个数据集上证明了该方法在三维形状重建上的准确性和高效性。

    二、Method

    2.1 Overview

    如图1所示,RayDF包含两个网络及一个优化模块。对于主网络ray-surface distance network,只需输入一条射线,即可得到射线起点到射线打到的几何表面点之间的距离值。其中,如图2所示,RayDF使用一个包围三维场景的球对输入的射线进行参数化,将参数化得到的四维球坐标(入射点和出射点)作为网络输入。对于辅助网络dual-ray visibility classifier,输入一对射线和一个几何表面点,预测两条射线之间的相互可见性。这个辅助网络在训练好之后,将在后续multi-view consistency optimization module中起到关键作用。

    新标题:实时渲染进化!基于射线的三维重建创新方法

    图 2 射线-表面距离场的射线参数化及网络结构

    2.2 Dual-ray Visibility Classifier

    该方法中的辅助网络是一个预测输入的两条射线是否能同时看到一个表面点的二元分类器。如图3所示,将输入的两条射线所得特征取平均值,以确保预测的结果不受两条射线的顺序所影响。同时,将表面点进行单独编码得到的特征拼接在射线特征之后,以增强射线特征,从而提升分类器的准确性。

    新标题:实时渲染进化!基于射线的三维重建创新方法

    双射线可见性分类器的框架结构如图3所示

    2.3 Multi-view Consistency Optimization

    以设计的主网络ray-surface distance network和辅助网络dual-ray visibility classifier为铺垫,引入多视角一致性优化这一关键模块,对两个网络进行two-stage训练。

    (1) 首先为辅助网络dual-ray visibility classifier构造用于训练的射线对。对于一张图片中的一条射线(对应图片中的一个像素),通过其ray-surface distance可知对应的空间表面点,将其投影到训练集中的剩余视角下,即得到另一个射线;而该射线有其对应的ray- surface distance,文章设置阈值10毫米来判断两条射线是否相互可见。

    (2) 第二阶段是训练主网络ray-surface distance network使其预测的距离场满足多视角一致性。如图4所示,对于一条主射线及其表面点,以该表面点为球心均匀采样,得到若干条multi-view ray。将主射线与这些multi-view ray一一配对,通过训练好的dual-ray visibility classifier即可得到其相互可见性。再通过ray-surface distance network预测这些射线的ray-surface distance;若主射线与某一条采样射线是相互可见的,那么两条射线的ray-surface distances计算得到的表面点应是同一个点;依此设计了对应的损失函数,并对主网络进行训练,最终可以使ray-surface distance field满足多视角一致性。   

    新标题:实时渲染进化!基于射线的三维重建创新方法

    2.4 Surface Normal Derivation and Outlier Points Removal

    由于在场景表面边缘处的深度值往往存在突变(存在不连续性),而神经网络又是连续函数,上述ray-surface distance field在表面边缘处容易预测出不够准确的距离值,从而导致边缘处的几何表面存在噪声。好在,设计的ray-surface distance field有一个很好的特性,如图5所示,每个估计的三维表面点的法向量都可以通过网络的自动微分以闭合形式轻松求出。因此,可以在网络推理阶段计算表面点的法向量欧氏距离,若该距离值大于阈值,则该表面点被视作离群点并剔除,从而得到干净的三维重建表面。

    新标题:实时渲染进化!基于射线的三维重建创新方法

    图 5 Surface normal计算

    三、Experiments

    为了验证所提出方法的有效性,我们在三个数据集上进行了实验。这三个数据集分别是object-level的合成数据集Blender [1]、scene-level合成数据集DM-SR [2]以及scene-level真实数据集ScanNet [3]。我们选择了七个baselines进行性能对比。其中,OF [4]/DeepSDF [5]/NDF [6]/NeuS [7]是基于坐标的level-set方法,DS-NeRF [8]是有depth监督的NeRF-based方法,LFN [9]和PRIF [10]是基于射线的两个baselines

    由于RayDF方法的易于直接增加一个radiance分支来学习纹理,因此可以与支持预测radiance field的基准模型进行比较。因此,本论文的对比实验分为两组,第一组(Group 1)仅预测距离(几何),第二组(Group 2)同时预测距离和辐射度(几何和纹理)

    3.1 Evaluation on Blender Dataset

    从Table 2和图6可以看出,在Group 1和2中,RayDF在表面重建上取得了更优的结果,尤其是在最重要的 ADE 指标上明显优于基于坐标和射线的baselines。同时在radiance field rendering上,RayDF也取得了与DS-NeRF相当的性能,并优于LFN和PRIF。

    新标题:实时渲染进化!基于射线的三维重建创新方法

    新标题:实时渲染进化!基于射线的三维重建创新方法

    图 6 Blender数据集可视化对比

    3.2 Evaluation on DM-SR Dataset

    从Table 3可以看出,在最关键的 ADE 指标上,RayDF超越了所有baselines。同时,在Group 2的实验中,RayDF能够在获得高质量的新视图合成的同时,保证恢复出准确的表面形状(见图7)。

    新标题:实时渲染进化!基于射线的三维重建创新方法

    新标题:实时渲染进化!基于射线的三维重建创新方法

    图 7 DM-SR数据集可视化对比

    3.3 Evaluation on ScanNet Dataset

    表4比较了RayDF和baselines在具有挑战性的真实世界场景中的性能。在第一组和第二组中,RayDF在几乎所有评估指标上都明显优于baselines,展现出在恢复复杂的真实世界三维场景方面的明显优势

    新标题:实时渲染进化!基于射线的三维重建创新方法

    新标题:实时渲染进化!基于射线的三维重建创新方法

    以下是图8 ScanNet数据集可视化对比的重写内容: 在图8中,我们展示了ScanNet数据集的可视化对比结果

    3.4 Ablation Study

    在Blender数据集上进行了消融实验,论文中的Table 5展示了对于关键的双光线可见性分类器的消融实验结果

    • 如Table 5 (1)所示,如果没有dual-ray visibility classifier的帮助,ray-surface distance field则会无法对新视角下的射线预测出合理的距离值(见图9)。
    • 在classifier的输入中,选择了输入表面点坐标来作为辅助,如Table 5 (2)和(3)所示,若选择输入表面点距离值作为辅助或是不提供辅助信息,分类器会获得较低的准确率和F1分数,导致为ray-surface distance network提供的可见性信息不够准确,进而预测出错误的距离值。
    • 如Table 5 (4)所示,以非对称的方式输入一对射线,所训练得到的分类器准确率较高,但F1分数较低。这表明,这种分类器的鲁棒性明显低于用对称输入射线训练的分类器。

    其他的切除操作可以在论文和论文附录中查看

    新标题:实时渲染进化!基于射线的三维重建创新方法

    新标题:实时渲染进化!基于射线的三维重建创新方法

    需要重新写的内容是: 图9展示了使用分类器和不使用分类器的可视化对比

    四、Conclusion

    在使用基于射线的多视角一致性框架进行研究时,论文得出了一个结论,即可以通过这种方法高效、准确地学习三维形状表示。论文中使用了简单的射线-表面距离场来表示三维形状的几何图形,并利用新颖的双射线可见性分类器进一步实现了多视角几何一致性。通过在多个数据集上的实验证明,RayDF方法具有极高的渲染效率和出色的性能。欢迎对RayDF框架进行进一步扩展。您可以在主页上查看更多的可视化结果

    需要进行改写的内容是:https://vlar-group.github.io/RayDF.html

    新标题:实时渲染进化!基于射线的三维重建创新方法

    需要进行重新写作的内容是:原文链接:https://mp.weixin.qq.com/s/dsrSHKT4NfgdDPYcKOhcOA

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    业界资讯 技术
    相关文章 更多
    OPPO 即将行业首发 5.5G 技术 理论可实现 10 倍连接速率提升
    OPPO 即将行业首发 5.5G 技术 理论可实现 10 倍连接速率提升

    3月28日,OPPOFind系列产品负责人周意保在微博发文,表示OPPO已经进入了5.5G时代。OPPOFindX7系列周意保在微博上传了一张截图,图中的手机锁屏界面右上方状态栏信号一栏显示为5GA,也就是人们更加熟悉的5.5G。此外,周意保也发文称:"和大家一起进入5.5G新移动网络时代!"宣布了5.5G新移动网络时代的到来。OPPOFind系列产品负责人周意保微博有博主表示,OPPOFindX7系列即将行业首发支持5G-A(5.5G),OTA固件已经准备好了。5G-A理论上可以实现10倍提升的连接速率

    通用技术集团发布四大战略行动计划,形成全维发展布局
    通用技术集团发布四大战略行动计划,形成全维发展布局

    3月18日,通用技术集团机床产业生态合作伙伴大会在北京国家会议中心举行 春日的北京,一场关乎中国工业未来的盛会拉开帷幕。通用技术集团机床产业生态合作伙伴大会在国家会议中心举行,近500位产业链上下游的企业代表与行业专家齐聚一堂。会上,通用技术集团总工程师、机床公司董事长周舟发布了集团机床产业的未来发

    云调用AI太贵:开发者自建48台Mac mini集群,撑起Overcast播客转录
    云调用AI太贵:开发者自建48台Mac mini集群,撑起Overcast播客转录

    云调用AI太贵:开发者自建48台Mac mini集群,撑起Overcast播客转录 最近科技圈里有件挺有意思的事。播客应用Overcast的开发者马可·阿门特,成功搭建了一个由48台苹果Mac mini组成的服务器集群。关键点在于,他用这套硬件集群,绕过了云端AI服务,直接在本地运行语音识别模型来处

    原生Steam Link应用登陆苹果Vision Pro头显,支持4K游戏串流
    原生Steam Link应用登陆苹果Vision Pro头显,支持4K游戏串流

    原生Steam Link应用登陆苹果Vision Pro头显,支持4K游戏串流 一条值得游戏玩家关注的消息来了。根据科技媒体9to5Mac的最新报道,Valve已经悄然推出了专门为visionOS打造的原生Steam Link应用测试版。这意味着,苹果Vision Pro的用户现在就可以通过Test

    CounterPoint预估今年笔记本OLED屏幕出货同比增33%,苹果MacBook Pro成关键推手
    CounterPoint预估今年笔记本OLED屏幕出货同比增33%,苹果MacBook Pro成关键推手

    市场观察:2025年笔记本显示屏市场增长7%,高端化趋势显著 最新出炉的市场报告带来了一组亮眼数字:2025年全球笔记本电脑显示屏市场表现相当强劲,整体出货量同比攀升了7%。尤其值得注意的是,高端显示屏这个细分赛道的增速更为惊人,增幅高达19%。这已经不单单是复苏,更像是一次结构的跃迁。 增长动力从

    索尼推出“Playerbase”计划:将真实玩家扫描植入PS第一方游戏
    索尼推出“Playerbase”计划:将真实玩家扫描植入PS第一方游戏

    索尼推出“玩家基地”计划:将真实玩家扫描植入PS第一方游戏 最近,游戏界有个大动作值得关注。索尼正式宣布启动名为“玩家基地”的新计划,准备推出一套完整的流程,将真实玩家的形象扫描并植入到PlayStation工作室的游戏之中。这套创新的流程,背后是摄影测量、动作捕捉与玩家数据技术的融合。 索尼互动娱

    赛睿推出Aerox 3 Wireless Gen 2鼠标:三区RGB,挖孔68g
    赛睿推出Aerox 3 Wireless Gen 2鼠标:三区RGB,挖孔68g

    赛睿Aerox 3 Wireless Gen 2鼠标评测:当轻量化与光效完美邂逅 作为外设领域的老牌劲旅,赛睿在轻量化鼠标的赛道上又有了新动作。最近,它们带来了第二代Aerox 3无线鼠标。这款新品依然延续了那个极具辨识度的挖孔“洞洞鼠”设计,但在灯光、性能和耐用性上都做了针对性升级。对于追求极致手

    惠普G5喷墨技术发布,引领家用打印新体验
    惠普G5喷墨技术发布,引领家用打印新体验

    9月23日,2025惠普创新喷墨打印技术媒体分享会在北京圆满举行。惠普正式发布全新一代G5喷墨打印技术,并推出多款面向家庭学习、办公应用及照片打印的全新产品,致力于为中国用户打造更智能、更稳定的打印体验。据悉,G5技术采用先进的墨滴精准控制技术和优化升级的黑色墨水配方,显著提升输出品质,使文字边缘更锐利、图像色彩更逼真。同时具备防荧光笔渗透、防水防褪色等实用性能。其打印头寿命长达2000小时不堵塞,相比上一代延长50%,大幅降低维护频率与使用成本,切实解决家庭用户的日常困扰。此次惠普还

    Tachyum发布TDIMM内存技术 单条带宽281GB/s
    Tachyum发布TDIMM内存技术 单条带宽281GB/s

    11月26日,据相关报道,Tachyum正式推出其全新研发的TDIMM内存技术,旨在为人工智能与高性能计算领域带来更高带宽、更大容量及更低功耗的先进解决方案。该技术基于Tachyum旗下的ProdigyUltimate处理器平台构建,单条TDIMM模块可实现高达281GB/s的带宽,相较当前主流的DDR5内存提升了约5.5倍。ProdigyUltimate处理器支持多达24个内存通道,使系统总带宽达到惊人的6.7TB/s,约为传统12通道CPU系统的11倍水平。在存储容量方面,标准版TDIMM提供

    鸿蒙智行激光雷达开启超清感知新时代
    鸿蒙智行激光雷达开启超清感知新时代

    在自动驾驶步入攻坚阶段的2026年,算力竞赛已逐渐走向平台化与标准化,产业竞争的焦点正悄然转向感知能力的维度跃迁。据内部消息人士透露,鸿蒙智行即将启动一轮关键性技术升级,其中最具突破性的亮点,当属全新一代激光雷达的正式登场。事实上,激光雷达性能的跨越式进步具有深远战略价值。当部分车企仍在纯视觉方案与多传感器融合路径之间反复权衡时,业内普遍研判,鸿蒙智行正通过强化底层感知硬件,为全场景高阶智能驾驶打造更牢靠的三维物理世界建模根基。有接近项目的消息源进一步指出,这项有望重新定义行业技术边界的前沿成果,或将率先

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。