当前位置:

首页 > 业界资讯 > 首篇仅使用2D标签训练多视图3D占用模型的新范式

首篇仅使用2D标签训练多视图3D占用模型的新范式

3ds max(3dmax)
3ds max(3dmax)

Autodesk 3ds Max 是一款专业的三维建模、动画与渲染软件,广泛应用于建筑可视化、游戏开发、影视动画、广告设计和产品展示等领域。

立即下载
Windows 2026-10-13
设计美化 3DMAX 3DMAX教程 3ds Max

本文经自动驾驶之心公众号授权转载,转载请联系出处。【RenderOcc,首篇仅使用2D标签训练多视图3D占用模型的新范式】作者从多视图图像中提取NeRF风格的3D体积表示,并使用体积渲染技术来建立2D重建,从而实现从2D语义和深度标签的直接3D监督,减少了对昂贵的3D占用标注的依赖。大量实验表明,RenderOcc的性能与使用3D标签完全监督的模型相当,突显了这种方法在现实世界应用中的重要性。已开源。题目:RenderOcc:Vision-Centric3DOccupancyPredictionwith2

本文目录

    本文经自动驾驶之心公众号授权转载,转载请联系出处。

    【RenderOcc,首篇仅使用2D标签训练多视图3D占用模型的新范式】作者从多视图图像中提取NeRF风格的3D体积表示,并使用体积渲染技术来建立2D重建,从而实现从2D语义和深度标签的直接3D监督,减少了对昂贵的3D占用标注的依赖。大量实验表明,RenderOcc的性能与使用3D标签完全监督的模型相当,突显了这种方法在现实世界应用中的重要性。已开源。

    题目: RenderOcc: Vision-Centric 3D Occupancy Prediction with 2DRendering Supervision

    作者单位: 北京大学,小米汽车,港中文MMLAB

    需要重写的内容是:开源地址:GitHub - pmj110119/RenderOcc

    3D占用预测在机器人感知和自动驾驶领域具有重要前景,它将3D场景量化为带有语义标签的网格单元。最近的工作主要利用3D体素空间中的完整占用标签进行监督。然而,昂贵的标注过程和有时模糊的标签严重限制了3D占用模型的可用性和可扩展性。为了解决这个问题,作者提出了RenderOcc,这是一种仅使用2D标签训练3D占用模型的新范式。具体而言,作者从多视图图像中提取NeRF风格的3D体积表示,并使用体积渲染技术来建立2D重建,从而实现从2D语义和深度标签的直接3D监督。此外,作者引入了一种辅助光线方法来解决自动驾驶场景中的稀疏视点问题,该方法利用顺序帧为每个目标构建全面的2D渲染。RenderOcc是第一次尝试仅使用2D标签来训练多视图3D占用模型,从而减少了对昂贵的3D占用标注的依赖。大量实验表明,RenderOcc的性能与使用3D标签完全监督的模型相当,突显了这种方法在现实世界应用中的重要性。

    网络结构:

    首篇仅使用2D标签训练多视图3D占用模型的新范式

    图1展示了RenderOcc的一种新的训练方法。与以往依赖昂贵的3D占用标签进行监督的方法不同,本文提出的RenderOcc利用2D标签来训练3D占用网络。通过2D渲染监督,该模型能够受益于细粒度的2D像素级语义和深度监督

    首篇仅使用2D标签训练多视图3D占用模型的新范式

    图2.RenderOcc的总体框架。本文通过2D到3D网络提取体积特征并预测每个体素的密度和语义。因此,本文生成了语义密度场(Semantic Density Field),它可以执行体积渲染来生成渲染的2D语义和深度。对于Rays GT的生成,本文从相邻帧中提取辅助光线来补充当前帧的光线,并使用所提出的加权光线采样策略来净化它们。然后,本文用光线GT和{}计算损失,实现2D标签的渲染监督

    首篇仅使用2D标签训练多视图3D占用模型的新范式

    重写后的内容:图3。辅助光线:单帧图像无法很好地捕捉物体的多视图信息。相邻相机之间只有很小的重叠区域,视角差异有限。通过引入来自相邻帧的辅助光线,该模型可以显著受益于多视图一致性约束

    实验结果:

    首篇仅使用2D标签训练多视图3D占用模型的新范式

    首篇仅使用2D标签训练多视图3D占用模型的新范式

    首篇仅使用2D标签训练多视图3D占用模型的新范式

    首篇仅使用2D标签训练多视图3D占用模型的新范式

    首篇仅使用2D标签训练多视图3D占用模型的新范式

    首篇仅使用2D标签训练多视图3D占用模型的新范式

    首篇仅使用2D标签训练多视图3D占用模型的新范式

    首篇仅使用2D标签训练多视图3D占用模型的新范式

    需要进行改写的内容是:原文链接:https://mp.weixin.qq.com/s/WzI8mGoIOTOdL8irXrbSPQ

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    业界资讯 模型 3D
    相关文章 更多
    宏碁推出裸眼 3D 显示器“掠夺者 XB273K 3D”:搭 27 英寸 4K 180Hz 面板 + 双扬 7499 元
    宏碁推出裸眼 3D 显示器“掠夺者 XB273K 3D”:搭 27 英寸 4K 180Hz 面板 + 双扬 7499 元

    宏碁推出掠夺者XBK273K3D裸眼3D显示器,搭载27英寸4K180HzFastIPS面板,配合3D立体光学透镜与眼动追踪摄像头,可将2D内容转为3D画面,支持3D模型渲染及游戏裸眼3D化,定价7499元,接口齐全并支持KVM。该显示器兼顾高刷新率与裸眼3D体验,适合设计、游戏等多场景。

    CSS3实现动态翻牌效果 仿百度贴吧3D翻牌一次动画特效
    CSS3实现动态翻牌效果 仿百度贴吧3D翻牌一次动画特效

    利用CSS3的perspective、transform-style和backface-visibility属性,结合rotateY变换实现3D翻牌效果。鼠标悬停时,卡片正面图片与背面文字同步旋转180度,形成流畅翻转动画,无需JavaScript,兼容性好,立体感强,适用于产品展示、名片翻页等场景。

    拓竹消费级 3D 打印机国内累计销量突破 100 万台,用时约 4 年
    拓竹消费级 3D 打印机国内累计销量突破 100 万台,用时约 4 年

    6月17日,界面新闻带来一条有意思的消息:截至当天,拓竹消费级3D打印机在国内的累计销量已经突破了100万台。从2022年首款产品正式上市算起,满打满满也就4年时间,这个数字确实让人眼前一亮。 拓竹科技成立于2020年,首款产品在2022年面向市场发售。时间拉回到2024年11月底,在Formnex

    云调用AI太贵:开发者自建48台Mac mini集群,撑起Overcast播客转录
    云调用AI太贵:开发者自建48台Mac mini集群,撑起Overcast播客转录

    云调用AI太贵:开发者自建48台Mac mini集群,撑起Overcast播客转录 最近科技圈里有件挺有意思的事。播客应用Overcast的开发者马可·阿门特,成功搭建了一个由48台苹果Mac mini组成的服务器集群。关键点在于,他用这套硬件集群,绕过了云端AI服务,直接在本地运行语音识别模型来处

    索尼推出“Playerbase”计划:将真实玩家扫描植入PS第一方游戏
    索尼推出“Playerbase”计划:将真实玩家扫描植入PS第一方游戏

    索尼推出“玩家基地”计划:将真实玩家扫描植入PS第一方游戏 最近,游戏界有个大动作值得关注。索尼正式宣布启动名为“玩家基地”的新计划,准备推出一套完整的流程,将真实玩家的形象扫描并植入到PlayStation工作室的游戏之中。这套创新的流程,背后是摄影测量、动作捕捉与玩家数据技术的融合。 索尼互动娱

    拓竹推出 X2D 3D 打印机:全新机械结构双喷嘴系统,3999 元起
    拓竹推出 X2D 3D 打印机:全新机械结构双喷嘴系统,3999 元起

    拓竹X2D 3D打印机登场:全新双喷嘴系统,智能监测加持 4月14日,3D打印领域迎来一款备受关注的新品——拓竹X2D 3D打印机正式推出。这款产品的核心看点,在于其搭载的全新机械结构双喷嘴系统。价格方面,单机定价为3999元,享受国补后实际入手价为3399.15元;若选择功能更丰富的多色套装,定价

    华为盘古 Ultra MoE 模型发布
    华为盘古 Ultra MoE 模型发布

    5月30日,华为推出了全新的AI模型——盘古UltraMoE,该模型的参数量达到了7180亿。作为一款接近万亿参数的MoE(MixtureofExperts)模型,它在整个训练过程中完全基于华为的昇腾AI平台完成,标志着华为在超大规模模型训练方面取得了重要进展。盘古UltraMoE的成功训练离不开盘古团队研发的一系列创新技术。例如,Depth-ScaledSandwich-Norm(DSSN)稳定架构的引入,显著改善了超大规模模型训练期间出现的梯度异常及

    阿里开源14B电影级视频模型,实测可玩
    阿里开源14B电影级视频模型,实测可玩

    AI视频生成正迎来属于“通义”的高光时刻!就在昨晚,阿里巴巴悄然推出了一款由音频驱动的14B视频大模型——Wan2.2-S2V。只需上传一张静态图片和一段音频,就能生成出面部表情生动、口型精准匹配、肢体动作流畅自然的电影级数字人视频,效果惊艳。实际效果展示如下:△来自@AIMIRAI46487更令人振奋的是,这款新模型一经发布便全面开源,现在所有人都可以免费在通义万相官网体验使用。据官方介绍,Wan2.2-S2V的核心优势包括:支持最长分钟级的单次视频生成,画面稳定且具有一致性;具备影院级别的音

    特斯拉FSD新增滑板识别模型
    特斯拉FSD新增滑板识别模型

    近日,有汽车领域博主爆料,特斯拉的FSD(完全自动驾驶)辅助系统将迎来一次重要升级,或将实现更真实的环境场景还原。在最新曝光的软件代码中,发现了大量新增的渲染模型,涵盖多种车辆与行人类型。这些新增模型包括救护车、消防车、垃圾清运车、校车、半挂式卡车、高尔夫球车、骑电动滑板车的行人、使用轮椅的行人、玩滑板的行人、推婴儿车的行人,以及道路清扫车、三轮车、拖车、火车和有轨电车等。这一系列高精度建模意味着FSD系统将能更准确识别并响应复杂交通参与者的行为。据CNMO掌握的消息,日本方面已为特斯拉FSD系统的落地扫

    国产屏下3D人脸识别测试中 华为小米谁先用?
    国产屏下3D人脸识别测试中 华为小米谁先用?

    7月14日,"数码闲聊站"消息称,有厂商正在实验室中对国产屏下3D人脸识别技术进行版本测试,这表明该技术正逐步迈向成熟,未来有望在智能手机领域实现应用。近年来,屏下3D人脸识别技术成为智能手机设计的重要突破,其目标是将3D人脸识别模块完全置于屏幕下方,从而实现更完整的全面屏视觉效果。相比传统的刘海屏方案,该技术不仅提升了手机外观的整体美感,还带来了更大的显示区域和更沉浸的视觉体验。这项技术的关键在于其精密的结构光系统,包含红外镜头、点阵投影器以及泛光感应元件等多个核心部件。这些元件必须

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。

    即将离开本站
    您即将前往第三方网站,请确认是否继续?