大模型与具身智能的火花，ICML 2024 MFM-EAI Workshop征稿和挑战赛启动
Workshop主页：https://icml-mfm-eai.github.io/概述近年来，多模态基础模型（MFM），例如CLIP、ImageBind、DALL・E3、GPT-4V、Gemini和Sora，已成为人工智能领域最引人注目且发展迅速的领域之一。同时，MFM的开源社区也涌现出了诸如LLaVA、LAMM、MiniGPT-4、StableDiffusion和OpenSora等具有代表性的开源项目。不同于传统计算机视觉和自然语言处理模型，这类MFM正在积极探索通用问题解决方案。通过引入MFM，具身
概述
近年来，多模态基础模型（MFM），例如 CLIP、ImageBind、DALL・E 3、GPT-4V、Gemini 和 Sora，已成为人工智能领域最引人注目且发展迅速的领域之一。同时，MFM 的开源社区也涌现出了诸如 LLaVA、LAMM、MiniGPT-4、Stable Diffusion 和 OpenSora 等具有代表性的开源项目。
不同于传统计算机视觉和自然语言处理模型，这类 MFM 正在积极探索通用问题解决方案。通过引入 MFM，具身智能（EAI）能够在模拟器和现实世界环境中更好地处理各种复杂任务。然而，在 MFM 和 EAI 的交叉领域，仍有许多尚未探讨和解决的问题，包括智能体长期决策、智能体运动规划、新环境泛化能力等。
本次 Workshop 将致力于探讨几个关键问题，包括但不限于：
- MFM 的泛化能力；
- 用于具身智能的 MFM；
- 基于生成模型的世界模型；
- 模仿学习数据收集。
Workshop 征稿
该 workshop 聚焦于多模态基础模型（MFM）、具身智能（EAI）以及两项研究的交叉领域。本次征稿主题包括但不限于：
- Training and evaluation of MFM in open-ended scenarios
- Data collection for training embodied Agents
- Framework designs for MFM-powered embodied agents
- Perception and high-level planning in embodied agents empowered by MFM
- Decision-making and low-level control in embodied agents empowered by MFM
- Evaluation of the capability of embodied agents
- Generative model as world simulator
- Limitations of MFM in empowering EAI
投稿规则
本次投稿将通过 OpenReview 平台实行双盲审稿。投稿的正文篇幅为 4 页，参考文献和补充材料篇幅不限。
- 投稿格式和模板遵循 ICML 2024 投稿指南：https://icml.cc/Conferences/2024/CallForPapers
- 投稿入口：https://openreview.net/group?id=ICML.cc/2024/Workshop/MFM-EAI
时间节点
所有时间节点均为 [AoE] (Anywhere on Earth)。
三个赛道（可同时参与）
- EgoPlan 挑战
EgoPlan 挑战旨在评估多模态大模型在现实世界场景中，针对人类日常活动所涉及的真实任务的规划能力。模型需要依据任务目标描述、第一人称视角视频和当前环境观察，选择合理的动作推进任务完成。
- 比赛官网：https://chenyi99.github.io/ego_plan_challenge/
- 报名方式：填写 [Google 表单](https://docs.google.com/forms/d/e/1FAIpQLScnWoXjZcwaagozP3jXnzdSEXX3r2tgXbqO6JWP_lr_fdnpQw/viewform?usp=sf_link)
- 报名时间：即日起 - 2024 年 7 月 1 日
奖项设置：
- 冠军：800 美元
- 亚军：600 美元
- 创新奖：600 美元
- Composable Generalization Agent 挑战
Composable Generalization 挑战旨在评估规划-执行组合系统在开放场景下的任务能力和泛化能力。模型根据语言任务描述和多模态视觉输入进行任务拆解，控制器执行拆解后子任务。
- 更详细信息将于 7 月公布
- World Model 挑战
World Model 挑战旨在评估世界模拟器在具身智能场景中的应用表现。模型根据具身任务描述和实时场景观测生成符合任务指令的视频，评估视频生成质量和指导 agent 完成任务的能力。
- 更详细信息将于 7 月公布
委员会成员
Workshop 组织者
星海图CEO高继扬提出具身智能的三阶段论，认为中国硬件与数据产业链优势将助其两年内反超美国。具身智能不会有大模型式“GPT时刻”，而是从工业场景逐步渗透。高质量真实数据是核心，数据与算力成本比约1:10。
南京市具身智能机器人重点实验室由天创智能牵头组建并通过认定，与已建成的数据采集训练中心形成双轮驱动，主攻本体研发和硬件算法，打通工业场景从研发到落地的闭环，软件谷特种机器人产业集群已具规模。
深圳市发布《具身智能机器人技术创新与产业发展行动计划（2025-2027年）》，目标到2027年实现核心零部件、AI芯片等关键领域突破，培育估值超百亿企业10家以上，落地十亿级应用场景50个以上，关联产业规模达1000亿元，推动产业生态达到国际领先水平。
上海具身智能产业链快速成型，通过无本体数采设备、浦江X平台突破数据瓶颈，大模型与触觉方案提升机器人能力。真实场景部署成功，依托半小时供应链圈实现量产。预计2030年智能涌现，市场潜力超万亿元。
壹连科技与苏州大学共建柔性界面与智能传感研究院，聚焦电子皮肤、具身智能等前沿技术。依托柔性印制电路板技术，公司向人形机器人、低空经济等新兴赛道拓展，巩固新能源主业的同时打开长期成长空间。
如祺出行发布具身智能数据平台，通过自动化流水线处理第一人称视角操作视频，实现数据导入、AI预处理、动作标注、质检到导出的全链条串联，旨在降低边际成本，突破高质量物理交互数据短缺的瓶颈。
如祺出行发布具身智能数据平台，搭建Ego-centric数据自动化处理流水线，降低数据从采集到训练的边际成本。在政策推动和“数据饥荒”背景下，出行平台将自动驾驶AI数据能力跨界迁移，助力突破具身智能规模化发展瓶颈。
具身智能竞争正从模型参数转向系统架构与数据积累。宇树科技发布WVLA2.0大模型，实现无遥操90毫秒推理闭环；NXP提出NeuralAxis架构，将延迟降至40毫秒。全栈自研整合与全球实体数据成为核心壁垒。
我国60岁以上老年人口超3.2亿，失能半失能老人超5000万，护理员缺口达千万级。某科技公司发布人形护理机器人“天枢”与“天玑”，具备物理操作与设备互联能力，覆盖失能照护六大场景，无需大规模更换设备，降低养老机构数字化改造成本。
智元机器人第15000台精灵G2下线并交付电子制造企业龙旗科技，六天产线直播累计作业64828次，成功率99.99%。场景倒逼技术迭代，稳定性和投资回报率是核心，单机可靠性要求极高。超千台已部署于工业、零售等场景，未来将拓展半导体、汽车零部件等领域。
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
