斯坦福洗碗机器人新作！灵巧手学采茶做早餐

手把手教机器人，直接就能让它学到真本事！

不管是采茶沏茶做早餐，这些精细活儿都「手」到擒来。还是灵巧手的那种。

△星动纪元灵巧手星动 XHAND 1

△星动纪元灵巧手星动 XHAND 1

来自斯坦福大学、哥伦比亚大学、摩根大通 AI 研究院、卡耐基梅隆大学、英伟达提出了一种数据采集与策略学习框架DexUMI——

利用人手作为自然接口将灵巧操作技能迁移至多种灵巧手。该框架通过硬件与软件的双重适配，最大限度缩小人手与各类灵巧手之间的具身差异。

相信不少人看过去年他们发布的 UMI，通过记录并学习人类操作，让夹爪类机器人学会洗碗，结果在行业引发不小的关注和轰动。

除了效果惊艳，更深层的原因在于他们让夹爪的操作数据采集迅速便利化，行业多家厂商迅速跟进，推出了工业化数采产品。

今年，他们将夹爪升级到更复杂更高自由度的灵巧手，让机器人学会更丰富更精细的操作任务，势必也将引发新一轮灵巧手数采革命。

正在首尔举办的 CoRL 2025 中，它被提名为最佳论文。

他们在两种灵巧手硬件平台（全驱和欠驱）上验证了 DexUMI 在多类操作任务中的能力与有效性，其平均任务成功率达到 86%。与传统的远程遥操比，实现了 3.2 倍的数据采集效率提升。

值得一提的是，其中全驱采用的灵巧手正是出自国产明星具身玩家星动纪元的星动 XHAND 1。

手把手教机器人做事

人类双手在执行各类任务时展现出惊人的灵活性，那么通过「手把手教机器人做事」，也许就能来让机器人解锁各种新任务。去年的 UMI 验证了这一思路的有效性。

它是一款可穿戴式夹爪设备，它能高效采集机器人训练数据。通过装有 GoPro 和 IMU 传感器的手持夹爪，UMI 能够精准高效地记录人类操作动作，并用于训练策略部署在机械臂真机上。UMI 设备低成本，能够在 15 分钟内完成组装。这解决了夹爪类机器人操作数据采集慢，这一困扰众多科研工作者的难题。

今年团队将目标聚焦在了灵巧手，不过相较于夹爪，要将把人类的操作技能整体迁移到灵巧手的挑战更为严峻。

最核心的原因在于两者之间存在显著的差异，包括在动力学结构、接触面形态、 视触觉感知等多个维度。

再加之不同灵巧手在自由度、驱动方式、大小尺寸等方面存在工程设计的多样性。因此要是缩小具身的差异，还需要考虑兼容各种硬件设计空间。

遥操已成为灵巧手的主流控制方式。但空间观测错位和触觉反馈缺失导致其操作困难，而这些障碍在人类直接执行操作任务时并不存在。

相较而言，人类的双手本身是更优越的操作接口。

基于这一背景下，本文提出了一个核心问题：

如何缩小具身差距，使人类手部成为各类灵巧手的通用操作界面？

DexUMI 框架主要通过硬件和软件两方面的创新来搭建一座桥梁。

硬件方面，设计了可穿戴外骨骼装置。

团队针对每款灵巧手设计了专用外骨骼，通过硬件优化框架调整外骨骼参数（如连杆长度），使其在保持人手可穿戴性的同时，精准匹配灵巧手指运动轨迹。

△星动 XHAND 1 外骨骼

该装置采用编码器精准捕捉关节运动，配备 150 ° 广视场角相机记录视觉观测数据，并通过刚性连接的 iPhone 借助 ARKit 技术追踪手腕位姿。

软件适配方面，采用数据处理流水线形式。首先通过视频分割技术从示教视频中移除人手及外骨骼，随后利用与目标动作匹配的灵巧手及环境背景进行视频修复。这一适配机制确保了尽管人手灵巧手存在视觉差异，训练阶段与机器人部署阶段的视觉输入仍能保持一致。

具体包含四个步骤：

人手与外骨骼分割

环境背景修复

生成对应灵巧手视频

机器人示教视频合成

人手与外骨骼分割

首先利用 SAM2 对观测视频中的人手及外骨骼进行分割（图 4b）。由于 SAM2 需初始提示点，团队建立了标准化操作协议：操作者始终以相同手势开始演示，使得所有示教数据均可复用同一组提示点。

环境背景修复

通过分割掩码从图像数据中移除人手及外骨骼像素，随后采用基于光流的修复方法 ProPainter 完整填充缺失区域（图 4c）。

生成对应灵巧手视频

为将灵巧手精准嵌入视频，团队在灵巧手上重放记录的关节动作，录制仅包含灵巧手的独立视频（图 4d）。该步骤不涉及机械臂运动。再次使用 SAM2 提取灵巧手像素（图 4e）并剔除背景。需说明的是，虽可训练图像生成模型基于动作输出灵巧手图像，但该方法需额外模型训练。

机器人示教视频合成

最后一步将纯背景修复视频与纯灵巧手视频进行融合。保持正确的遮挡关系至关重要：灵巧手并非始终处于最上层。团队开发了遮挡感知合成方法来解决这一问题。

验证 DexUMI 的有效性

团队在两款不同灵巧手上对 DexUMI 进行测试。

Inspire 手（IHand）：采用 12 自由度（6 主动自由度）欠驱动设计。拇指配置 2 个主动自由度与 2 个被动自由度，其余四指各具 1 个主动自由度及 1 个被动自由度。

星动纪元 XHAND 1：采用全驱动设计，具备 12 个主动自由度。大拇指配置三个自由度，食指含三个自由度，其余三指各配备两个自由度。

然后在四项现实任务中评估 DexUMI 系统：

立方体任务 [ IHand ] ：从桌面拾取 2.5 厘米宽立方体放入杯中，用于检验系统基础操作精度；

蛋盒开启 [ IHand ] ：多指协同开启蛋盒——需用食指、中指、无名指及小指按压盒盖，同时拇指抬起前扣，测试复杂手型控制能力；

茶艺操作 [ IHand & XHand ] ：从桌面夹取镊子，将茶叶从茶壶转移至茶杯。核心挑战在于通过多指接触稳定操控可变形工具；

厨房任务 [ XHand ] ：包含四个连续步骤：关闭灶台旋钮→将煎锅从灶台移至台面→从容器取盐→撒盐至锅中食物。测试系统在长时序任务中结合精确动作、触觉感知及非指尖操作的综合能力。

每个测试回合开始时，任务物体均在桌面上随机初始化摆放。每项任务进行 20 次评估回合，所有对比方法均采用完全一致的初始物体配置。

针对长时序任务，表 1 中按阶段统计累积成功率。

结果发现，软件适配对于弥合 DexUMI 流程中的视觉差距至关重要。比如在像学习蛋盒开启这种动作时，如果没有软件适配，就无法精准与物体交互并执行。

通过硬件与软件的双重适配，DexUMI 能够采集多种任务数据并实现向机器人的技能迁移。真实环境综合实验表明，DexUMI 在两种灵巧手（6 自由度 Inspire 手和 12 自由度 XHAND 1 ) 上均表现优异：

相比遥操作数据采集效率提升 3.2 倍，在包含需多指协同的长时序复杂任务等四项任务中平均成功率达 86%。

相比于遥操，DexUMI 具有两个主要优势：1）DexUMI 比传统的遥操作方法效率更高；2）DexUMI 提供直接的触觉反馈，而典型的遥操作系统通常无法提供这种反馈。

总结与展望

本文提出DexUMI——一种可扩展的高效数据采集与策略学习框架，该系统以人手为交互接口，在提供自然触觉反馈的同时，将人手运动精准转化为灵巧手动作。

通过大量复杂现实任务实验，验证了 DexUMI 能够学习适用于精密操作、多接触交互及长时序任务的灵巧操控策略。

本研究为超越传统遥操作模式、实现大规模灵巧手现实数据高效采集建立了新范式。

在 DexUMI 的测试中，星动纪元自研五指灵巧手星动 XHAND 1 相比因时五指灵巧手 Inspire Hand 表现更加卓越，凭借其独特的关节全直驱技术，显著提升了数据采集的精度和可靠性。

此外，星动 XHAND 1 单独完成了厨房长序列任务，该任务包括四个连续步骤：关闭 stove 旋钮、将锅从炉顶移到柜台、从容器中拿起盐、最后将其撒在锅中的食物上。该任务测试了 DexUMI 在具有精确动作、触觉传感和需要使用拇指和食指的侧面（而非指尖）的长周期任务上的能力。

星动 XHAND 1 之所以在厨房执行任务上表现良好，是因为其背后的关节全直驱方案以及指尖 270 度覆盖的高精度触觉传感器。 接下来，协同灵巧手如星动 XHAND 1 打造科研基础设施，贡献学习 dataset 建立数据采集共享社区将变成可能。

在这个社区中，众多的数据采集者、研究机构、企业以及其他相关从业者都可以积极参与其中，共同贡献和使用高质量数据集。对于后续的使用者可以直接从共享社区中获取到高质量的数据集。

这些数据集涵盖了多种类型和领域，能够满足不同用户在数据研究、模型训练、产品研发等方面的多样化需求。这种数据共享模式将降低数据采集的成本，避免了重复采集和资源浪费，还将大大提高了数据采集的效率，加速 Scaling law 中真实数据的比例，从而加速灵巧操作在实际应用场景的落地，推动扩大整体市场规模。

论文链接： https://arxiv.org/pdf/2505.21864v2

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

— 完 —

点亮星标

科技前沿进展每日见