教机器人读懂说明书、操作微波炉，北大、启元、京东联手打造“模拟考场”

让机器人学会使用家电，这听起来像是科幻电影里的情节，但恰恰是家庭服务机器人落地最难啃的硬骨头之一。想想看，这可比在桌面上抓取个杯子复杂多了。面对微波炉、洗衣机这些设备，机器人不仅要识别各种按钮、旋钮和舱门，还得理解复杂的操作流程和状态约束——按错一个键，可能程序就全乱了。

因此，如何让机器人读懂说明书，并据此规划出一套安全可靠的操作步骤，就成了“具身智能”能否真正融入家庭环境的核心挑战。最近，来自北京大学、上纬启元研究院和京东的研究团队，在CVPR 2026上发布了一项重磅成果：RealAppliance数据集及其配套的评测基准RealAppliance-Bench。这项研究直指说明书驱动的家电操作规划难题，旨在通过一套高保真的仿真体系，破解机器人实操评测的痛点，加速技术走向真实生活。

为什么非得用仿真来评测？道理很简单：成本与安全。在实体家电上让算法“试错”，风险太高。一次误操作可能导致设备损坏，甚至引发安全隐患。况且，家电品类繁多，购置和维护成本不菲，想进行大规模、可重复的实体实验几乎不可能。而现有的仿真资源，往往只注重外观，忽略了内在的程序逻辑和状态约束，与实际产品差距较大，难以满足基于说明书的复杂操作测评需求。

正是针对这些瓶颈，由北京大学长聘副教授、上纬启元首席科学家董豪领衔的团队，完成了RealAppliance系列的研发。值得注意的是，这支团队在去年（CVPR 2025）就已率先提出了这一研究方向；今年的工作则更进一步，将测评维度从单一的手册理解，拓展为“说明书文本-设备外观-交互功能-运行状态”一体化的完整操作系统。

RealAppliance数据集概览，包含100个高保真家电资产，覆盖14个类别，并为每个资产配套真实说明书。

构建高保真数字家电“博物馆”

RealAppliance数据集就像一个精心打造的数字家电“博物馆”，里面收藏了100款高精度3D模型，覆盖微波炉、烤箱、咖啡机等14类日常电器。它的“高保真”体现在四个维度：真实的说明书、精确的外观构造、可交互的操控方式以及严密的内部程序逻辑。

数据集收录了中、俄、法、德等多语种的原始设备手册，确保每一款数字资产都有据可依。从尺寸参数、部件功能到状态切换规则，全部与实物保持一致。这为算法测试提供了一个既可复用、又能灵活拓展的仿真实验平台。

传统数据集普遍缺乏手册对齐与程序逻辑，而RealAppliance实现了说明书、资产与交互逻辑的系统对齐。

这与传统仿真数据集形成了鲜明对比。后者通常只还原运动结构，而RealAppliance构建的是一个“说明书-资产-程序逻辑”联动的体系。它不仅能模拟按下按钮这个动作，还能模拟按下后设备的状态变化、顺序约束乃至操作错误时的反馈，为研究搭建了一个标准化的评估框架。

从实物到数字资产的精细还原

那么，这样一个高保真数据集是如何构建的呢？整个过程堪称一项系统工程。

团队首先广泛搜集了海内外家电的实物照片和原版说明书，并依据“可机械操作、文本适配模型处理、步骤描述清晰、数据信息完备”四项硬指标进行严格筛选。随后，利用专业建模软件，对家电外观进行精细复刻，拆分出每一个可独立操作的功能部件，并在纹理、色彩甚至标识细节上反复打磨。

光有样子还不够，还得有“灵魂”。团队为此搭建了物理与电子两大模块化交互机制，涵盖了弹簧复位、磁吸闭合、屏幕显示、电机运转等10类运行模式，让仿真家电能给出真实的操作反馈和状态变化。最后，也是最关键的一步：对照原版说明书编写运行脚本，设定温度、时长、工作模式等核心参数，完整还原家电从开机、运行到停止的整套工作流程。

RealAppliance资产构建流程：收集手册与照片、完成高保真建模、配置交互机制，并依据说明书设计程序逻辑。

五重关卡，全面检验算法“实操”能力

基于这个数据集，团队打造了RealAppliance-Bench评测基准。它模拟了机器人操作家电的全过程，设置了五个递进式的测试任务，堪称算法的“五重关卡”：

1. 手册页面检索：给定任务，从说明书中找到相关操作章节。
2. 开环操作规划：根据找到的说明，规划出一系列动作步骤。
3. 电器部件定位：在3D场景中精准定位需要操作的按钮或旋钮。
4. 闭环规划调整：当操作出现意外状态（如门未关紧）时，能否调整计划。
5. 全过程推理：端到端地完成从理解任务到成功执行的全流程。

这套组合拳，旨在全面考核智能模型在文档解析、动作规划、空间识别、故障修正和端到端作业等方面的核心能力。

RealAppliance-Bench的五个任务：手册检索、开环规划、部件定位、闭环调整与全过程推理。

测评结果：理想与现实仍有差距

研究团队选取了当前主流的多模态大模型和具身规划模型进行系统测评，结果揭示出一些值得深思的现状。

各类模型在单一任务上或许表现尚可，但一旦面对贴合真实场景的综合性任务，短板便暴露无遗。例如，在检索任务中，许多具身模型的文本理解能力仍然偏弱；在动作规划时，普遍存在步骤缺失或动作误用的问题，说明模型并未真正“吃透”设备运行的内在逻辑。部件空间定位的精度不高，凸显了跨模态信息（文本指令与3D视觉）匹配的难度。

更关键的是，当遇到突发工况需要调整时，模型往往显得束手无策。而在最考验综合能力的“全过程推理”任务中，所有参与测试的模型均未能成功通关。多个环节的微小误差叠加起来，导致最终任务失败，这清楚地表明，现有算法在居家环境下的操作稳定性和鲁棒性，距离实际应用还有很长的路要走。

推动具身智能落地的基石

尽管挑战严峻，但RealAppliance数据集与评测基准的发布，无疑为领域发展提供了一个至关重要的“标尺”。未来，它将持续作为标准化的测评工具，帮助研究人员迭代优化算法，深挖智能操作策略的研发方向。

随着仿真体系的不断迭代和完善，这项研究有望为家庭服务机器人最终攻克家电操作难关、真正规模化走进千家万户，打下坚实的技术根基。通往实用化的道路虽然曲折，但每一步扎实的评测与改进，都在让终点变得更近。