清华大学研发的智能助手CoPa能执行多种任务，具备多功能性
近期，具身智能方向取得了诸多进展。从谷歌的RT-H到OpenAI、Figure联合打造的Figure01，机器人的交互性、通用性越来越强。如果未来机器人成为人们日常生活的助手，你期待它们能够完成哪些任务？泡一杯热气腾腾的手冲咖啡，整理桌面，甚至帮你精心安排一场浪漫的约会，这些任务，只需一句指令，清华的具身智能新框架「CoPa」都能完成。CoPa（RoboticManipulationthroughSpatialConstraintsofParts）是清华大学机器人研究团队在高阳教授的领导下提出的最新智能框
近期，具身智能方向取得了诸多进展。从谷歌的 RT-H 到 OpenAI、Figure 联合打造的 Figure 01，机器人的交互性、通用性越来越强。
如果未来机器人成为人们日常生活的助手，你期待它们能够完成哪些任务？泡一杯热气腾腾的手冲咖啡，整理桌面，甚至帮你精心安排一场浪漫的约会，这些任务，只需一句指令，清华的具身智能新框架「CoPa」都能完成。
CoPa（Robotic Manipulation through Spatial Constraints of Parts）是清华大学机器人研究团队在高阳教授的领导下提出的最新智能框架。这一框架首次实现了机器人在多种场景下，面对长距离任务和复杂的3D行为时的泛化能力。
论文地址：https://arxiv.org/abs/2403.08248
项目主页：https://copa-2024.github.io/
由于对视觉语言大模型（VLMs）的独特应用，CoPa 在没有经过任何特定训练的情况下可以在开放的场景中泛化，并且可以处理复杂的指令。CoPa 最引人瞩目的地方在于展现出对场景中物体物理属性的深入理解，以及其精确的规划和操作能力。
例如，CoPa 能够帮助研究人员制作一杯手冲咖啡：
在该任务中，CoPa 不仅可以理解复杂桌面陈设中每个物体的作用，还可以通过精确的控制，完成对它们的物理操作。比如「把水从水壶倒到漏斗中」这一任务，机器人将水壶移动到漏斗的上方，精确地将其旋转至合适的角度，使得水可以从壶口流到漏斗中。
CoPa 还能精心安排一场浪漫的约会。在了解研究人员的约会需求后，CoPa 帮助其布置了精美的西餐桌。
在深入理解用户需求的同时，CoPa 还展现出了精确的操作物体本领。比如「把花插入花瓶」这一任务，机器人首先抓住了花的茎，将其旋转至正对着花瓶，最后将其插入。
方法介绍
算法流程
大多数操作任务可以被分解为两个阶段：物体的抓取，以及完成任务所需的后续动作。比如，在开抽屉时，我们需要先抓住抽屉的把手，再沿着直线拉出抽屉。基于此，研究人员设计了两个阶段，即首先通过「任务导向的抓取模块（Task-Oriented Grasping）」生成机器人抓取物体的位姿，再通过「任务相关的运动规划模块（Task-Aware Motion Planning）」生成抓取后完成任务所需的位姿。机器人在相邻位姿之间的转移可以通过传统的路径规划算法实现。
重要部分检测模块
研究人员观察到大多数操作任务都需要对场景中的物体具有细致的「部分级（part-level）理解」。比如在用小刀切东西时，我们会握着刀柄而非刀刃；在戴眼镜时，我们会拿着镜框而非镜片。基于这个观察，研究团队设计了「由粗到细的部分检测（coarse-to-fine part grounding）模块」来定位场景中和任务相关的部分。具体来说，CoPa 先通过粗粒度物体检测来定位场景中和任务相关的物体，随后通过细粒度部分检测来定位这些物体上和任务相关的部分。
在「任务导向的抓取模块」中，CoPa 首先通过该重要部分检测模块定位抓取的位置（比如工具的柄），该位置信息被用来过滤 GraspNet（一个可以生成场景中所有可能的抓取位姿的模型）生成的抓取位姿，进而得到最终的抓取位姿。
任务相关的运动规划模块
为了让视觉语言大模型来帮助机器人进行操作任务，该研究需要设计一个接口，该接口既可以让大模型以语言的方式推理，又有利于机器人操作。研究团队发现，在执行任务的过程中，任务相关的物体通常会受到许多的空间几何限制。比如，在给手机充电时，充电头必须正对着充电口；在盖瓶盖时，盖子必须被正放在瓶口位置。基于此，研究团队提出使用空间限制作为视觉语言大模型和机器人之间的桥梁。具体来说，CoPa 首先通过视觉语言大模型生成任务相关的物体在完成任务时需要满足的空间限制，再通过一个求解模块基于这些限制解出机器人的位姿。
实验结果
CoPa 能力评估
CoPa 在现实世界操作任务中展现了极强的泛化能力。得益于对视觉语言大模型中蕴含的常识知识的利用，CoPa 对场景中物体的物理属性具有深入的理解。
例如，在「锤钉子」任务中，CoPa 首先抓住了锤柄，再将锤子旋转至锤头正对着钉子，最后向下锤。该任务要求精确识别出锤柄、锤面以及钉面，并充分理解它们的空间关系，证明 CoPa 对场景中物体的物理属性具有深入的理解。
在「把橡皮放进抽屉」任务中，CoPa 首先定位到了橡皮的位置，然后发现橡皮的一部分被纸包裹着，于是聪明地抓取了该部分，确保橡皮不会被弄脏。
在「把勺子插入杯子」任务中，CoPa 首先抓住了勺柄，将其平移旋转至竖直朝下，并正对着杯子，最后将其插入杯中，证明 CoPa 可以很好的理解完成任务时物体需要满足的空间几何限制。
研究团队在 10 个现实世界任务上进行了充分的定量实验。如表一所示，CoPa 在处理这些复杂任务的表现上显著超过了基线方法以及许多消融变种方法。
消融实验
研究人员通过一系列消融实验证明了 CoPa 框架中如下三个组成部分的重要性：基础模型、由粗到细的部分检测、空间限制生成。实验结果如上方表一中所示。
基础模型
表中 CoPa w/o foundation 消融实验去除了 CoPa 中对基础模型的使用，转而通过检测模型来定位物体，以及基于规则的方法生成空间限制。实验结果表明该消融变种的成功率很低，证明了基础模型中蕴含的丰富常识知识在 CoPa 中的重要作用。比如在「扫螺母」任务中，该消融变种不知道场景中哪个工具适合用来扫。
由粗到细的部分检测
表中 CoPa w/o coarse-to-fine 消融实验去除了 CoPa 由粗到细的部分检测设计，转而直接使用细粒度分割来定位物体。该变种在定位物体重要部分相对困难的任务中表现显著降低。比如在「锤钉子」任务中，缺少「由粗到细」这一设计导致很难识别出锤面。
空间限制生成
表中 CoPa w/o constraint 消融实验去除了 CoPa 的空间限制生成模块，转而让视觉语言大模型直接输出机器人的目标位姿的具体数值。实验表明根据场景图片直接输出机器人目标位姿是十分困难的。比如在「倒水」任务中，水壶需要被倾斜一定的角度，该变种完全无法生成此时机器人的位姿。
了解更多内容，请参考原论文。
星海图CEO高继扬提出具身智能的三阶段论，认为中国硬件与数据产业链优势将助其两年内反超美国。具身智能不会有大模型式“GPT时刻”，而是从工业场景逐步渗透。高质量真实数据是核心，数据与算力成本比约1:10。
南京市具身智能机器人重点实验室由天创智能牵头组建并通过认定，与已建成的数据采集训练中心形成双轮驱动，主攻本体研发和硬件算法，打通工业场景从研发到落地的闭环，软件谷特种机器人产业集群已具规模。
深圳市发布《具身智能机器人技术创新与产业发展行动计划（2025-2027年）》，目标到2027年实现核心零部件、AI芯片等关键领域突破，培育估值超百亿企业10家以上，落地十亿级应用场景50个以上，关联产业规模达1000亿元，推动产业生态达到国际领先水平。
上海具身智能产业链快速成型，通过无本体数采设备、浦江X平台突破数据瓶颈，大模型与触觉方案提升机器人能力。真实场景部署成功，依托半小时供应链圈实现量产。预计2030年智能涌现，市场潜力超万亿元。
壹连科技与苏州大学共建柔性界面与智能传感研究院，聚焦电子皮肤、具身智能等前沿技术。依托柔性印制电路板技术，公司向人形机器人、低空经济等新兴赛道拓展，巩固新能源主业的同时打开长期成长空间。
如祺出行发布具身智能数据平台，通过自动化流水线处理第一人称视角操作视频，实现数据导入、AI预处理、动作标注、质检到导出的全链条串联，旨在降低边际成本，突破高质量物理交互数据短缺的瓶颈。
如祺出行发布具身智能数据平台，搭建Ego-centric数据自动化处理流水线，降低数据从采集到训练的边际成本。在政策推动和“数据饥荒”背景下，出行平台将自动驾驶AI数据能力跨界迁移，助力突破具身智能规模化发展瓶颈。
具身智能竞争正从模型参数转向系统架构与数据积累。宇树科技发布WVLA2.0大模型，实现无遥操90毫秒推理闭环；NXP提出NeuralAxis架构，将延迟降至40毫秒。全栈自研整合与全球实体数据成为核心壁垒。
我国60岁以上老年人口超3.2亿，失能半失能老人超5000万，护理员缺口达千万级。某科技公司发布人形护理机器人“天枢”与“天玑”，具备物理操作与设备互联能力，覆盖失能照护六大场景，无需大规模更换设备，降低养老机构数字化改造成本。
智元机器人第15000台精灵G2下线并交付电子制造企业龙旗科技，六天产线直播累计作业64828次，成功率99.99%。场景倒逼技术迭代，稳定性和投资回报率是核心，单机可靠性要求极高。超千台已部署于工业、零售等场景，未来将拓展半导体、汽车零部件等领域。
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
