当前位置:

首页 > 硬件相关 > 小鹏发布全新视觉模型,覆盖智驾座舱机器人全场景

小鹏发布全新视觉模型,覆盖智驾座舱机器人全场景

小鹏发布TuringViT视觉编码器,面向VLM/VLA时代,覆盖智驾、座舱与机器人全场景。该方案采用线性注意力与原生动态分辨率,仅用0.85B图文对训练,在多项基准上平均准确率83.6%,超越10B数据模型,推动先进视觉大模型行业普惠。

本文目录

    小鹏汽车的动作,向来是行业里值得留意的风向标。今年上半年,这家公司密集发布了一系列物理AI技术报告,内容涵盖多视角生成式世界模型X-World、世界模型推理加速引擎X-Cache、预测式世界模型X-Foresight,以及X-Mind技术框架。而就在最近,他们又亮出了一张新牌——TuringViT,一个面向VLM/VLA时代的高效视觉编码器。这套方案,从架构设计、数据范式到训练流程,几乎是对视觉编码器的一次系统性重构。



    视觉编码器,是物理AI的“感知入口”——这个说法并不夸张。所有场景理解、状态判断、动作决策,第一步都得从高质量的视觉特征提取开始。但随着VLM和VLA技术加速落地到真实场景,高分辨率图像、多视角输入、连续视频帧这些需求,已经成了常态。行业对视觉编码器的要求,正在发生本质性的变化。

    眼下主流的技术路线,普遍面临三重瓶颈:算力成本高、数据效率低、场景适配难。许多团队还在沿用“复用开源通用ViT”的老路子,但这套方案,在智能驾驶、具身机器人这类真实场景中,已经越来越跟不上节奏。性能、延迟、定制化——这些需求,通用模型很难同时满足。正是冲着这些痛点,小鹏推出了TuringViT,一套完整的系统性解决方案。



    从架构、数据到训练,TuringViT三条线同步推进,搭建起一个“线性注意力主导+高质量数据治理+原生动态分辨率”的技术体系。效果、效率、落地性,三者同步提升。数据效率是其中的亮点:TuringViT只用了0.85B图文对,差不多是主流模型训练数据规模的十分之一,结果在ImageNet-1K等六项零样本分类基准上,平均准确率达到了83.6%,直接超越了那些用10B数据训练出来的开源基线。在COCO、Flickr30K的图文检索任务上,同样实现了“十分之一数据,效果更优”的突破。

    这套编码器的发布,让小鹏全栈自研的物理AI底层技术能力,变得更加完整。它的价值不只局限于智能辅助驾驶,而是会辐射到更多物理AI的业务场景。

    在智能驾驶领域,TuringViT是第二代VLA系统的核心视觉编码器。它的近线性延迟特性,让高分辨率视觉感知能在车端算力约束下稳定运行。窄路通行、无导航辅助驾驶、复杂路口处理、长尾交通参与者识别——这些功能,体验上会有明显提升。端侧大模型的性能潜力,也能被进一步释放,让驾驶决策既“看得清”,又“反应快”。

    智能座舱和驾泊一体化场景同样受益。TuringViT的VLM原生特性,让视觉特征与语言模型的对齐更高效,识别精度更高,还能适应不同画幅和比例的视觉输入。未来车辆与用户交互的丰富座舱功能,多了不少想象空间。

    在小鹏IRON人形机器人的技术体系中,TuringViT扮演着“视觉视网膜”的角色。它为具身智能提供物体细粒度识别、空间关系理解、可操作区域检测、动态环境追踪等基础感知能力。统一的基座架构,让智能驾驶场景积累的海量视觉经验,能够快速迁移到机器人场景,跨场景研发成本因此大幅降低。

    TuringViT的价值,不止于小鹏内部业务的落地。它也为行业提供了一条可复现、低成本训练SOTA级视觉Transformer的技术路径。换句话说,先进视觉大模型,正在从“头部团队专属”走向“行业普惠”。

    小鹏集团表示,未来将持续扩大高质量图文视频数据规模,深化时序建模与具身视觉方向的技术探索,推动视觉基座与VLM/VLA系统的更深度融合。让先进AI技术,真正渗透到每一次出行、每一个交互场景——用科技突破,定义智能出行与具身智能的新高度。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    硬件相关 机器人
    相关文章 更多
    AI Agent、Genie 4与机器人有什么区别?从任务输入到场景演示
    AI Agent、Genie 4与机器人有什么区别?从任务输入到场景演示

    认识AI Agent、Genie 4与机器人的区别:任务输入不等于完成结果,世界模拟不等于现实执行,装载机动作展示也不能替代完整工程验收。

    贾跃亭的FF机器人亮相CBS、引爆街头:借势世界杯“轻巧破圈”
    贾跃亭的FF机器人亮相CBS、引爆街头:借势世界杯“轻巧破圈”

    法拉第未来EAI机器人亮相洛杉矶世界杯庆典,被CBS报道,实现零广告费破圈。目前推出三大系列机器人,截至5月累计交付137台,年度目标上调至1500台。近期获7000万美元融资,将发布机器人教育生态战略,加速物理AI领域布局。

    启元机器人加速线下布局:亚洲首店落子深圳,上海全球首店同步筹备
    启元机器人加速线下布局:亚洲首店落子深圳,上海全球首店同步筹备

    启元机器人加速线下布局,亚洲首店已在深圳卓悦中心设围挡,上海全球首店同步筹备,西安等地也在推进中。作为上纬新材在消费级具身智能领域的核心载体,其聚焦个人机器人赛道,研发投入同比增长超500%。

    【城事】001,世界会客厅首位机器人员工上岗
    【城事】001,世界会客厅首位机器人员工上岗

    6月16日,世界会客厅迎来首位智能导览员——编号001的人形机器人正式上岗。它身高约1.7米,通体银白,可提供多语种讲解、智能引导与互动问答,致力于提升智慧化参观体验。同日,世界会客厅举办了年度品牌日暨首秀5周年纪念活动。

    300名截肢患者,正在变成机器人的触觉训练师
    300名截肢患者,正在变成机器人的触觉训练师

    约300名截肢患者日常使用仿生手产生的触觉与运动数据,被PSYONIC用于机器人灵巧手训练,通过“真实到真实”迁移绕过仿真环节,将人类操控经验直接迁移至机器人。已与ABB、NVIDIA合作探索汽车制造等工业场景,但数据规模与可靠性仍需验证。

    香港中文大学、上交大联合研究团队让机器人
    香港中文大学、上交大联合研究团队让机器人"看"懂人类双手动作

    ACE-Ego-0框架将人类双手视频与机器人数据统一到头部摄像头坐标系,通过形态条件化和可靠性加权损失处理结构差异与噪声。在超6000小时数据上预训练,于仿真和真实双臂机器人测试中刷新多项基准,平均成功率72.8%,真实任务达78.3%。

    暑期回国研学新选择:北上深杭科技之旅,让孩子边玩边学收获满满
    暑期回国研学新选择:北上深杭科技之旅,让孩子边玩边学收获满满

    暑期科技研学聚焦北京、上海、深圳、杭州,项目涵盖京东智能物流、小米汽车工厂、火箭制造、3D打印、机器人、无人机、航天及大飞机总装等,让孩子深入体验智能制造,实现沉浸式职业启蒙。

    顺丰同城机器人末端运力上线 助力肯德基“车速取”体验升级
    顺丰同城机器人末端运力上线 助力肯德基“车速取”体验升级

    顺丰同城上线机器人末端运力,与肯德基“车速取”合作,实现即停即取。机器人独立承担门店与路边取餐点间短途接驳,替代店员跑腿,推动无人物流从室内走向室外场景,拓宽服务半径。

    活力中国调研行|在智造一线,看机器人“结”新硕果
    活力中国调研行|在智造一线,看机器人“结”新硕果

    天津机器人产业加速爆发,水下助推器、高速分拣并联机器人及人形取货机器人等应用场景涌现。智能机器人已列重点产业链,前4个月规上企业产值同比增长12.8%,产业生态逐步构建。

    国家医保局:为“远程手术”等辅助操作统一价格立项
    国家医保局:为“远程手术”等辅助操作统一价格立项

    国家医保局发布指南,为3D打印、手术机器人、远程手术等辅助操作统一价格立项,按技术精度分类定价,鼓励用于高难度手术。机械臂耗材费用纳入定价,降低患者支出;首次设立远程手术辅助操作费;要求医疗数据及设备日志本地存储并实时上传,否则核减价格。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。