当前位置:

首页 > 业界资讯 > 高保真环视数据:驾驶场景重建技术领先水平

高保真环视数据:驾驶场景重建技术领先水平

原标题:DrivingGaussian:用于周围动态自动驾驶场景的复合高斯点状绘制请点击这里查看论文:https://arxiv.org/pdf/2312.07920.pdf代码链接:https://pkuvdig.github.io/DrivingGaussian/作者单位:北京大学谷歌研究加州大学默塞德分校论文思路:本文提出DrivingGaussian,这是一个针对动态自动驾驶场景的高效率和高效益的框架。对于具有移动物体的复杂场景,本文首先使用增量静态3D高斯(incrementalstatic3D

原标题:DrivingGaussian:用于周围动态自动驾驶场景的复合高斯点状绘制

请点击这里查看论文:https://arxiv.org/pdf/2312.07920.pdf

代码链接:https://pkuvdig.github.io/DrivingGaussian/

作者单位:北京大学谷歌研究 加州大学默塞德分校

论文思路:

本文提出 DrivingGaussian,这是一个针对动态自动驾驶场景的高效率和高效益的框架。对于具有移动物体的复杂场景,本文首先使用增量静态3D高斯 (incremental static 3D Gaussians) 顺序渐进地对整个场景的静态背景进行建模。然后,本文利用复合动态高斯图(composite dynamic Gaussian graph) 来处理多个移动物体,单独重建每个物体并恢复它们在场景中的准确位置和遮挡关系。本文进一步使用 LiDAR 先验进行 Gaussian Splatting 来重建具有更多细节的场景并保持全景一致性。DrivingGaussian 在驾驶场景重建方面优于现有方法,并能够实现具有高保真度和多相机一致性的逼真环视合成。

主要贡献:

根据本文了解,DrivingGaussian是第一个使用复合高斯飞溅技术进行大规模动态驾驶场景表示和建模的框架

引入了两个新颖的模块,包括增量静态3D高斯和复合动态高斯图。前者增量地重建静态背景,而后者则使用高斯图对多个动态物体进行建模。在激光雷达先验的辅助下,该方法有助于在大规模驾驶场景中恢复完整的几何形状

综合实验证明,DrivingGaussian在具有挑战性的自动驾驶基准测试中优于先前的方法,并且能够模拟各种极端情况以进行下游任务

网络设计:

本文介绍了一种名为DrivingGaussian的新型框架,用于表示环视动态自动驾驶场景。该框架的关键思想是使用来自多个传感器的顺序数据对复杂的驾驶场景进行分层建模。通过采用Composite Gaussian Splatting技术,将整个场景分解为静态背景和动态物体,并分别对每个部分进行重建。具体而言,首先使用增量静态3D高斯方法从环视多相机视图顺序构建综合场景。然后,采用复合动态高斯图单独重建每个运动物体,并通过高斯图将它们动态地集成到静态背景中。在此基础上,通过Gaussian Splatting进行全局渲染,捕捉现实世界中的遮挡关系,包括静态背景和动态物体。此外,本文还在GS表示中引入了LiDAR先验,相比于使用随机初始化或SfM生成的点云,它能够恢复更精确的几何形状并保持更好的多视图一致性

大量的实验表明,本文的方法在公共自动驾驶数据集上实现了最先进的性能。即使事先没有激光雷达,本文的方法仍然表现出良好的性能,证明了其在重建大规模动态场景方面的多功能性。此外,本文的框架支持动态场景构建和极端情况(corner case)模拟,有助于验证自动驾驶系统的安全性和鲁棒性。

DrivingGaussian:逼真环视数据,驾驶场景重建SOTA

图 1. DrivingGaussian 实现了环视动态自动驾驶场景的逼真渲染性能。朴素的方法 [13, 49] 要么在大范围背景中产生 unpleasant 伪影和模糊,要么难以重建动态物体和详细的场景几何形状。DrivingGaussian 首先引入了 Composite Gaussian Splatting 来有效地表示复杂的环视驾驶场景中的静态背景和多个动态物体。DrivingGaussian 能够跨多相机高质量合成环视视图,并促进长期动态场景重建。

DrivingGaussian:逼真环视数据,驾驶场景重建SOTA

图 2.本文方法的总体流程。左:DrivingGaussian 从多传感器获取连续数据,包括多相机图像和 LiDAR。中:为了表示大规模动态驾驶场景,本文提出了 Composite Gaussian Splatting ,它由两个部分组成。第一部分增量地重建广泛的静态背景,而第二部分使用高斯图构造多个动态物体并将它们动态地集成到场景中。右图:DrivingGaussian 在多个任务和应用场景中展示了良好的性能。

DrivingGaussian:逼真环视数据,驾驶场景重建SOTA

图 3. 具有增量静态3D高斯和动态高斯图的 Composite Gaussian Splatting 。本文采用 Composite Gaussian Splatting 将整个场景分解为静态背景和动态物体,分别重建每个部分并整合它们进行全局渲染。

实验结果:

DrivingGaussian:逼真环视数据,驾驶场景重建SOTA

DrivingGaussian:逼真环视数据,驾驶场景重建SOTA

DrivingGaussian:逼真环视数据,驾驶场景重建SOTA

DrivingGaussian:逼真环视数据,驾驶场景重建SOTA

DrivingGaussian:逼真环视数据,驾驶场景重建SOTA

DrivingGaussian:逼真环视数据,驾驶场景重建SOTA

DrivingGaussian:逼真环视数据,驾驶场景重建SOTA

总结:

本文介绍了DrivingGaussian,一种基于所提出的Composite Gaussian Splatting来表示大规模动态自动驾驶场景的新颖框架。DrivingGaussian使用增量静态3D高斯逐步对静态背景进行建模,并使用复合动态高斯图捕获多个移动物体。本文进一步利用LiDAR先验来实现精确的几何结构和多视图一致性。DrivingGaussian在两个自动驾驶数据集上实现了最先进的性能,实现了高质量的环视视图合成和动态场景重建

引用:

Zhou, X., Lin, Z., Shan, X., Wang, Y., Sun, D., & Yang, M. (2023). DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes. ArXiv. /abs/2312.07920

DrivingGaussian:逼真环视数据,驾驶场景重建SOTA

原文链接:https://mp.weixin.qq.com/s/p1J20g0kVUG6kVpq_SEgxQ

本文内容来源于互联网,如有侵权请联系删除。
作者最新文章
业界资讯 自动驾驶
相关文章 更多
胡峥楠谈YU7 GT自动驾驶征战纽北,称小米入局汽车还是有梦想的
胡峥楠谈YU7 GT自动驾驶征战纽北,称小米入局汽车还是有梦想的

小米YU7GT在纽博格林北环以自动驾驶模式跑出10分29秒483,创全球量产车自动驾驶圈速纪录。胡峥楠表示,这体现小米入局汽车的梦想:电能替代化学能,智能替代人工。纽北因此将小米列为三大顶级合作伙伴之一。该成绩相当于老司机水平,但仅是起点。

小米 YU7 GT 打破浙赛自动驾驶圈速纪录成绩为1:49.434
小米 YU7 GT 打破浙赛自动驾驶圈速纪录成绩为1:49.434

小米YU7GT在浙江国际赛车场以1分49秒434创下自动驾驶圈速纪录,此前于纽博格林北环也取得全球首个自动驾驶圈速成绩。该车最大马力1003匹,零百加速2.92秒,CLTC续航705km,基于897V碳化硅高压平台,全程无人干预。

曹操出行与May Mobility达成战略合作 共同开拓欧洲Robotaxi市场
曹操出行与May Mobility达成战略合作 共同开拓欧洲Robotaxi市场

曹操出行与自动驾驶企业MayMobility达成战略合作,在欧洲探索Robotaxi商业化。双方将联合开展可行性研究,优先在欧洲试点,由曹操出行负责运营,MayMobility提供自动驾驶技术支撑,共同推进无人驾驶出租车服务落地。

全球首个自动驾驶系统全球技术法规获批发布
全球首个自动驾驶系统全球技术法规获批发布

由中、欧、英、美、加、日六方牵头的联合国自动驾驶系统全球技术法规获批发布,首次从产品全生命周期明确核心技术指标,将安全管理、试验验证及持续监控纳入制造商义务,提供完整评估方法,使各国自动驾驶车辆拥有统一标准,推动产业化从碎片化走向体系化。

消息称大众将与博世在自动驾驶领域“分道扬镳”
消息称大众将与博世在自动驾驶领域“分道扬镳”

大众与博世在自动驾驶领域合作或告终,因项目进展缓慢、成本压力大且缺乏竞争力。大众计划另寻供应商采购软硬件,目标将技术普及至亲民车型。L3级自动驾驶预计2030年成为新车标准配置。

大众放弃博世智驾!
大众放弃博世智驾!

大众汽车计划终止与博世在自动驾驶领域的合作,以削减成本。该合作始于2024年初,投入15亿欧元研发L2、L3级软件,但因进度慢于预期、错过关键里程碑而中止。大众正寻找新伙伴,此前已与地平线合作,同时面临裁员10万等财务危机。

挥别博世?10万裁员?大众激进自救
挥别博世?10万裁员?大众激进自救

大众集团计划终止与博世在自动驾驶领域的合作,因15亿欧元投入未达预期。同时,大众酝酿激进重组,全球裁员或扩至10万人,并拟中期关停4家德国工厂,方案将于7月提交监事会。

消息称理想拆分产品部部分关键职能:整车、智驾并入研发部门
消息称理想拆分产品部部分关键职能:整车、智驾并入研发部门

理想汽车调整组织架构,将产品部电动本体团队并入整车研发部门,自动驾驶终端团队并入基座模型研发部门,旨在简化产品决策流程,减少沟通层级,从而提升产品定义效率与协同能力,以应对市场竞争。

理想“动刀”产品部
理想“动刀”产品部

理想汽车调整产品部架构,电动本体定义团队拆分并入整车研发,自动驾驶终端产品团队整合进基座模型研发,旨在拉近产品定义与研发落地的距离。

标准输出 赋能中国智驾“出海”提速
标准输出 赋能中国智驾“出海”提速

全球首个自动驾驶系统全球技术法规由中国牵头制定并发布,明确了核心技术指标与管理要求,为智驾安全落地提供统一规则,助力中国车企降低海外合规成本,推动智能新能源汽车加速全球化进程。

查看更多
精品专题 更多
装机必备
装机必备

正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

Windows
Windows

正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

macOS软件
macOS软件

正软商城macOS软件专区,精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具,提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

Mac软件 更多
灵活计算器
灵活计算器
macOS/iOS/Android

灵活计算器是一款笔记式算数应用,支持实时计算、动态关联和云端同步功能。记录、整理和输出之间的过渡会更自然,适合长期写作、做笔记或持续沉淀个人内容。

赤友清理大师
赤友清理大师
macOS

赤友清理大师是一款为 Mac 设计的智能清理优化工具,可精准扫描垃圾、大文件、重复文件等,释放磁盘空间。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

WINDOWS 更多
Windows 10
Windows 10
Windows

Windows 10 是一款微软推出的经典操作系统,拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起,适合需要持续观察和微调设备状态的场景。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

密码键盘
密码键盘
Windows/macOS/iOS/Android

密码键盘是一款兼具安全性与便捷性的高效密码管理器。日常使用里的持续防护和信息管理会更突出,适合把安全控制放进长期使用流程中的场景。