当前位置:

首页 > 硬件相关 > 谷歌 DeepMind 发布 D4RT 模型,让 AI 能“理解四维世界”

谷歌 DeepMind 发布 D4RT 模型,让 AI 能“理解四维世界”

谷歌DeepMind发布D4RT模型,从2D视频推断三维结构和运动轨迹,实现四维时空认知。单Transformer架构,性能提升18至300倍,支持像素跟踪、点云重建与无标定相机位姿估计,为机器人、增强现实等应用奠定基础。

本文目录

    先抛出几个关键点:谷歌DeepMind这次带来的新成果,是一枚名为D4RT(Dynamic 4D Reconstruction and Tracking)的AI模型。它的问世,可以说标志着视频理解能力的一次实质性跃迁——AI终于开始像人类一样去“感知”这个动态的世界,不再只是盯着二维画面,而是能深度理解三维空间结构,同时把时间维度也纳入了建模范围。简单说,就是实现了真正的四维时空认知。

    更准确地说,D4RT是一款高度集成的轻量级统一模型。它可以直接从常规的2D视频流中,推断出三维场景的几何结构,以及物体随时间演化的完整运动轨迹。以前解决这类问题,通常需要拼凑好几个独立的模块,比如单独的深度预测器、运动跟踪器、相机姿态解算器等等,还要协调它们之间的配合。D4RT则把这些功能全部内化到了一个单一的Transformer架构里,靠一套创新性的可扩展查询机制来完成端到端的协同推理。

    这套系统的设计哲学,其实聚焦在一个很根本的问题上:

    “某个像素,在特定的时刻、特定的视角下,它所对应的三维空间坐标到底是什么?”
    系统只需要快速响应查询,就能给出精准答案。

    从结果来看,D4RT在多项关键指标上都明显超越了现有方法:

    • 凭借统一建模和并行化查询的能力,它在各类4D场景重建的基准测试中都稳居领先地位。
    • 实测速度提升了18倍到300倍不等。举个例子,处理一段60秒的视频,它只需要大约5秒,而以前的主流模型往往要花上好几分钟。
    • 即便遇到物体被短暂遮挡、移出视野,或者运动模糊这类棘手的场景,它也能稳健地进行外推,并保持高精度的轨迹预测。

    值得特别注意的是,D4RT并不是一个停留在实验室里的概念模型,它已经具备了相当清晰的落地路径:

    • 像素级三维追踪(Point Tracking):可以支持任意视频像素在四维时空里连续定位和路径还原。
    • 动态点云生成(Point Cloud Reconstruction):能在任意指定时间戳重建完整、稠密的三维场景结构。
    • 无标定相机位姿恢复(Camera Pose Estimation):仅靠单目视频就能复原相机的运动轨迹和朝向,完全不需要额外传感器或先验信息。

    这项技术突破不仅大幅优化了4D场景解析的效率和鲁棒性,更重要的是,它把AI对真实物理世界的感知能力往前推了一大步。具体到应用层面:

    • 智能机器人:可以因此获得毫秒级的环境动态建模能力,让自主导航和交互操作在复杂场景下变得更可靠。
    • 增强现实系统:为AR眼镜这类设备提供了低延迟、高保真的空间锚定基础,虚实融合的效果会更好。
    • 通用世界模型构建:它强化了AI对物体运动规律、相机观测机制以及时间演化关系的联合建模能力,可以说是迈向具身智能和因果推理的关键基石。

    谷歌DeepMind强调,D4RT正式将视觉智能从二维帧序列分析,升级到了对四维时空连续体的统一理解。这个紧凑而强大的架构,不仅打破了长期存在的计算与精度瓶颈,更在真实世界任务中展现出了广泛适配性。可以说,它为下一代具备动态现实感知能力的智能体,铺平了道路。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    硬件相关
    相关文章 更多
    AI Agent、Genie 4与机器人有什么区别?从任务输入到场景演示
    AI Agent、Genie 4与机器人有什么区别?从任务输入到场景演示

    认识AI Agent、Genie 4与机器人的区别:任务输入不等于完成结果,世界模拟不等于现实执行,装载机动作展示也不能替代完整工程验收。

    谷歌DeepMind高管:AI千亿资本支出是人类史上最大科学赌注,核心押注
    谷歌DeepMind高管:AI千亿资本支出是人类史上最大科学赌注,核心押注"递归自我改进"

    谷歌DeepMind高管指出,AI领域千亿资本支出是人类史上最大科学赌注,核心押注递归自我改进,预计2027至2028年实现。当前AI收入远不足以支撑巨额支出,且面临网络攻击、生物安全等重大风险。

    Google DeepMind开放Project Genie测试!「世界模型」技术比李飞飞更厉害?
    Google DeepMind开放Project Genie测试!「世界模型」技术比李飞飞更厉害?

    GoogleDeepMind开放ProjectGenie测试,美国AIUltra订阅用户可输入文字或图片,数秒生成可交互3D游戏世界。该系统整合Genie3世界模型等,旨在获取用户反馈优化模型。目前处于早期阶段,每轮体验限时60秒,存在交互异常等问题,已部署内容过滤机制。

    谷歌DeepMind CEO哈萨比斯呼吁美国牵头建立全球AI监管机构
    谷歌DeepMind CEO哈萨比斯呼吁美国牵头建立全球AI监管机构

    谷歌DeepMindCEO哈萨比斯呼吁美国政府牵头成立全球AI监管机构,参考金融业监管局模式,由独立专家和开源社区代表对前沿模型进行发布前安全评估,高风险时可协调放慢发布节奏,目标年底前投入运作。

    prompt工程已死?Google DeepMind提出“视觉提示工程”新范式:比文本指令更有效
    prompt工程已死?Google DeepMind提出“视觉提示工程”新范式:比文本指令更有效

    GoogleDeepMind提出视觉提示工程(VIPE),通过优化视觉输入提升视频模型推理性能。实验表明,视觉提示工程比文本提示更有效,可自动化且降低错误率,但依赖图像编辑模型质量,未来需稳定保留任务信息。

    prompt工程已死?Google DeepMind提出「视觉提示工程」新范式:比文本指令更有效
    prompt工程已死?Google DeepMind提出「视觉提示工程」新范式:比文本指令更有效

    GoogleDeepMind提出视觉提示工程(VIPE),将提示工程方法论扩展至视觉模态。通过将抽象草图转换为照片级真实场景,显著提升视频模型推理能力,效果优于文本提示工程。该方法可自动化,并与测试时扩展结合,进一步降低错误率。

    DeepMind报告:AI正在批量生产科学假设,但谁来证明它们是真的?
    DeepMind报告:AI正在批量生产科学假设,但谁来证明它们是真的?

    AI智能体可快速生成科学假设,如Co-Scientist两天提出与团队十年研究相符的假设,但无法独立验证。报告指出,假设生成加速而实验、评审等验证速度未同步,形成新瓶颈,需解决可及性、数据、设施及同行评审等问题。

    DeepMind CEO 肯定中国 AI 进展:仅落后美国数月
    DeepMind CEO 肯定中国 AI 进展:仅落后美国数月

    DeepMind的掌门人德米斯·哈萨比斯,最近接受了CNBC《科技快讯》的专访。他的一番话,恐怕会让不少人重新审视中国AI的现状。这一次,他的评价出乎不少人意料:中国大模型与美国最前沿水平的差距,已经压缩到“仅数月”的程度——绝非外界常常渲染的那般“代际鸿沟”。 哈萨比斯专门点到了DeepSeek、

    谷歌DeepMind CEO哈萨比斯:AGI或于三年内到来,研发速度远超预期
    谷歌DeepMind CEO哈萨比斯:AGI或于三年内到来,研发速度远超预期

    谷歌DeepMind的掌门人德米斯·哈萨比斯最近扔出了一枚重磅冲击波——他公开表示,通用人工智能(AGI)的研发速度比大多数人想象的要快得多。按照他的预期,AGI最快可能在2029年至2030年前后成型,换算一下,也就是差不多三年之内的事。这个判断一出,全球科技圈几乎都坐不住了。 话得说回来,哈萨比

    谷歌DeepMind让AI看懂长视频的速度快了35%
    谷歌DeepMind让AI看懂长视频的速度快了35%

    最近,谷歌DeepMind与首尔国立大学联合发布了一项关于长视频理解的研究,论文以预印本形式公开,编号为arXiv:2605.17260。这项研究瞄准了一个看似简单、实则棘手的问题:如何让AI高效地“看懂”长达数小时的视频。 想象一下,让AI理解一段两小时的电影,其挑战不亚于要求一个人在一秒钟内读完

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。