当前位置:

首页 > 硬件相关 > 小米汽车发布世界模型全新框架,主流基准测试全面SOTA

小米汽车发布世界模型全新框架,主流基准测试全面SOTA

今天,小米汽车发布了一项名为Xiaomi Auto World Model的全新框架,为业界辅助驾驶世界模型的发展提供了一条新路径。这标志着行业正从基础的“场景感知”,朝着“认知推演、场景进化”的高阶形态迈进。 简单来说,这个框架的核心突破在于,它首次将三维重建与视频生成深度耦合,形成了一个一体化架

本文目录

    今天,小米汽车发布了一项名为Xiaomi Auto World Model的全新框架,为业界辅助驾驶世界模型的发展提供了一条新路径。这标志着行业正从基础的“场景感知”,朝着“认知推演、场景进化”的高阶形态迈进。

    小米汽车发布世界模型全新框架,主流基准测试全面SOTA

    简单来说,这个框架的核心突破在于,它首次将三维重建与视频生成深度耦合,形成了一个一体化架构。其核心理念可以概括为“重建锚定几何,生成填补想象”。这种新范式,打破了行业长期将重建和生成作为两条独立技术路线的惯例。

    从实际效果看,这套框架在Waymo、nuScenes等主流基准测试中已全面取得SOTA(当前最优)成绩。更重要的是,它并非停留在实验室阶段,而是已经在小米汽车的合成数据生成、仿真测试以及智能座舱这三大核心业务场景中完成了落地应用。

    ▲ Xiaomi Auto World Model 效果展示

    要理解这个框架的价值,得先看看当前世界模型的两条主流技术路线:重建(WorldRec)与生成(WorldGen)。

    重建路线的优势在于“求真”。它从多视角的观测数据中恢复出几何精确的3D场景,保真度高,一致性也强。但它的短板也很明显:只能还原已经看到的内容,缺乏对未知或未来场景的“想象力”。

    生成路线则擅长“想象”。它通过扩散模型等技术,可以直接预测未来的画面,能够生成未观测到的视角和未发生过的场景。但问题在于,它缺乏显式的3D结构支撑,在长时序的推演中,画面容易漂移、失真,就像凭空想象容易“跑偏”。

    那么,有没有办法把两者的优势结合起来,同时规避各自的短板呢?Xiaomi Auto World Model给出的答案就是深度耦合。

    这个框架让重建模块和生成模块在结构上互相约束、协同工作。重建模块提供精确的3D几何结构,作为整个系统的“结构化锚点”,为生成过程提供稳定性约束;而生成模块则将预测能力延伸到观测范围之外,弥补了重建模块的想象力边界。

    两者形成了一个闭环,互相增益,最终在三个关键维度上实现了“1+1>2”的效果:

    高稳定性:重建提供的确定性几何约束,有效抑制了长时序自回归推演中常见的误差累积和内容漂移问题。

    高一致性:通过4D场景表征作为跨帧共享的“记忆”,确保了不同时刻、不同视角下的场景内容在全局范围内保持一致。

    高真实性:生成模块以重建渲染出的RGB图像为“几何骨架”,使得合成的内容既符合物理世界的空间布局,又贴近真实传感器的观测效果,从而显著缩小了“仿真”与“现实”之间的领域鸿沟。

    ▲ WorldGen 的极端场景效果

    技术最终要服务于应用。目前,Xiaomi Auto World Model已经在小米汽车的三大实际业务场景中发挥了作用:

    合成数据生成:已经交付了超过10万段高质量合成数据,直接用于训练车辆的感知模型。这尤其有助于提升车辆在那些危险、罕见场景下的识别与应对能力。

    仿真测试:基于该框架构建了闭环仿真环境,不仅优化了测试效率,完善了测试规范,更重要的是,能够在仿真中精准复现真实世界的事故场景,从而进行定向的算法优化。

    辅助驾驶学堂:利用世界模型的动态生成能力,可以创建第一人称的驾驶教学视频。当用户面对复杂路况时,系统能够以生成式视频直观展示正确的操作方式。目前,这项功能已经以“实景模拟场景”的形式,上线于小米全系车型的辅助驾驶学堂中。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    硬件相关
    相关文章 更多
    摩尔线程MusaCoder开源:首个基于国产全功能GPU全栈训练的代码大模型,比肩国际SOTA
    摩尔线程MusaCoder开源:首个基于国产全功能GPU全栈训练的代码大模型,比肩国际SOTA

    摩尔线程发布并开源MusaCoder,这是首个基于国产GPU全栈自主训练与验证的代码大模型。在KernelBench评测中,其27B强化学习版本性能全面超越ClaudeOpus等主流模型,标志着国产GPU生态实现从“能用”到“领先”的加速跨越,技术实力显著提升。

    Artificial Analysis发布全新基准:GLM-5.1取得全球开源SOTA
    Artificial Analysis发布全新基准:GLM-5.1取得全球开源SOTA

    全球评测机构ArtificialAnalysis发布全新基准CodingAgentIndex,聚焦智能体开发框架与模型组合解决实际编程任务的能力。测试覆盖多个主流编程基准,结果显示闭源模型Opus4.7领先,而开源模型中GLM-5.1表现最佳,代表国产大模型在实战环境中已达到世界顶尖水平。

    SOTA大模型加密数据评测:Qwen3仅破10%
    SOTA大模型加密数据评测:Qwen3仅破10%

    大语言模型面对加密数据,即便最新的Qwen3也会感到压力!尽管当下各类推理模型在多种基准测试中表现优异,但在密码学这样对逻辑严谨性和细节准确性要求极高的专业领域,模型的推理能力还有待深入挖掘。密码学不仅要求模型具备高级数学运算能力和严密的逻辑推理链,还需要其能够精准辨识复杂加密模式中的潜在规律;成功解密要求模型拥有极强的综合推理能力。上海AILab等联合推出的CipherBank测评,使用大量真实隐私场景数据和多种密码算法,严苛挑战当前最先进的大模型。CipherBank的测评结果显示,目前的大语言模型

    用GPT-3.5生成数据集!北大天工等团队图像编辑新SOTA,可精准模拟物理世界场景
    用GPT-3.5生成数据集!北大天工等团队图像编辑新SOTA,可精准模拟物理世界场景

    高质量图像编辑的方法有很多,但都很难准确表达出真实的物理世界。那么,EdittheWorld试试。图片北京大学、TiamatAI、天工AI、Mila实验室提出了EditWorld,他们引入了一种新的编辑任务,即世界指令(world-instructed)图像编辑。它定义和分类基于各种世界场景的指令。图片在一组预训练模型,比如GPT-3.5、Video-LLava和SDXL的支持下,建立了一个带有世界指令的多模态数据集。在该数据集训练了一个基于扩散的图像编辑模型EditWorld,结果在其新任务的表现明显优

     阿里 8B 模型拿下多页文档理解新 SOTA,324 个视觉 token 表示一页,缩减 80%
    阿里 8B 模型拿下多页文档理解新 SOTA,324 个视觉 token 表示一页,缩减 80%

    高效多页文档理解,阿里通义实验室mPLUG团队拿下新SOTA。最新多模态大模型mPLUG-DocOwl2,仅以324个视觉token表示单个文档图片,在多个多页文档问答Benchmark上超越此前SOTA结果。并且在A100-80G单卡条件下,做到分辨率为1653x2339的文档图片一次性最多支持输入60页!△单个A100-80G最多能支持文档图片(分辨率=1653x2339)的数量以及首包时间mPLUG-DocOwl是利用多模态大模型进行OCR-free文档理解的一系列前沿探索工作。DocOwl1.0首

    万字解读首篇「人脸复原」综述!南大、中山、澳国立、帝国理工等联合发布
    万字解读首篇「人脸复原」综述!南大、中山、澳国立、帝国理工等联合发布

    ​近年来,随着深度学习的发展和大规模数据集的出现,深度学习在很多领域也取得了进展,但其中「人脸复原」(FaceRestoration)任务仍然缺乏系统性的综述。最近,来自南京大学、澳大利亚国立大学、中山大学、帝国理工学院和腾讯的研究者们全面回顾并总结了基于深度学习的人脸复原技术的研究进展,对人脸复原方法进行了分类,讨论了网络架构、损失函数和基准数据集,并对现有SOTA方法进行了系统性性能评测。论文链接:https://arxiv.org/abs/2211.02831仓库链接:https://github

    主流旗舰折叠屏手机横向对比:影像、续航与软件适配
    主流旗舰折叠屏手机横向对比:影像、续航与软件适配

    面对荣耀Magic V6和vivo X Fold6两款主流横向大折叠旗舰,参数表往往让人眼花缭乱。本文不堆砌数据,而是聚焦影像拍摄习惯、不同存储版本的电池容量真相以及多窗口软件适配的实际操作。通过具体的场景化对比和到店体验建议,帮助你在购买前理清核心差异,避免被单一参数误导,做出更符合个人使用习惯的选择。

    小米15、真我GT7等八款旧款手机的容量比价与补贴条件
    小米15、真我GT7等八款旧款手机的容量比价与补贴条件

    八款旧款手机比价清单,涵盖Note 14 Pro+、真我GT7、小米15等机型。说明容量、相机与电池取舍,核对补贴资格、国行保修和实际付款条件,不承诺实时价格。

    ups电源电池更换方法图解与操作步骤教程
    ups电源电池更换方法图解与操作步骤教程

    当UPS发出蜂鸣警报或断电后无法支撑设备时,通常只需更换内部蓄电池。本教程提供详细的安全断电、拆卸旧电池、连接新电池的操作步骤及注意事项,帮助用户自行完成维护。

    一加 Ace 7 与 Pro 配置对比:GPU 切片与影像镜头差异解析
    一加 Ace 7 与 Pro 配置对比:GPU 切片与影像镜头差异解析

    了解一加 Ace 7 与 Pro 的核心配置差异。本文详细对比两款机型的 CPU 规格、GPU 切片数量对图形性能的影响,以及主摄、超广角与长焦镜头的不同组合,结合视频中的游戏测试数据,为您提供选购参考。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。