美团推出首个语音GUI智能体，端到端语音训练更优
一套多音轨的音谱编辑软件，能够供吉他、五弦琴、以及贝斯所使用，是现时网络一个常用的软件，几乎每个吉他网站所提供的吉他谱都有GTP格式。
只需动动嘴，就能操控GUI代理？由美团与浙江大学联合推出的GUIRoboTron-Speech——让你彻底解放双手，直接对设备“发号施令”。这是首个可以直接通过语音指令和屏幕截图进行端到端（End-to-End）决策的自主GUI智能体，致力于为用户提供更自然、高效且无障碍的人机交互方式。从文本到语音，智能代理的新一轮进化目前，基于大语言模型（LLMs）的自主GUI智能体已经能够通过文本指令自动完成跨应用、多步骤的复杂操作，显著提升用户效率。然而，这种依赖文本输入的方式在某些场景中存在明显局限
只需动动嘴，就能操控 GUI 代理？
由美团与浙江大学联合推出的 GUIRoboTron-Speech——让你彻底解放双手，直接对设备“发号施令”。
这是首个可以直接通过语音指令和屏幕截图进行端到端（End-to-End）决策的自主 GUI 智能体，致力于为用户提供更自然、高效且无障碍的人机交互方式。
从文本到语音，智能代理的新一轮进化
目前，基于大语言模型（LLMs）的自主 GUI 智能体已经能够通过文本指令自动完成跨应用、多步骤的复杂操作，显著提升用户效率。然而，这种依赖文本输入的方式在某些场景中存在明显局限。
设想这样一个常见的家庭场景：当你对家里的共享电脑发出“打开我的浏览器”的指令时，一个只能理解文本的智能体将无法判断你是谁，也就无从得知所谓“我的”浏览器具体指哪一个账户界面。
而一个具备语音处理能力的智能体，则可以通过识别说话人的声纹特征，准确识别身份，并为你打开专属的 Google 浏览器页面。
这正是语音模态所独有的优势——它不仅传达了指令内容本身，还蕴含了身份、语气、情绪等丰富的附加信息，这些对于实现个性化和智能化人机交互至关重要。
传统做法如采用“语音识别（ASR）转录 + 文本驱动的 GUI 代理”的级联流程，不仅增加了系统延迟和计算开销，还在转录过程中丢失了大量声学细节。
而 GUIRoboTron-Speech 创新性地构建了一个端到端的语音驱动 GUI 代理，可直接结合语音指令与屏幕截图进行任务执行。
打造端到端语音驱动的 GUI 代理
GUIRoboTron-Speech 研究团队设计了一套系统化的研发路径，其核心方法主要包括以下关键环节：
第一步：高质量语音数据集构建
面对缺乏可用于训练 GUI 智能体的语音指令数据集这一难题，研究团队提出并验证了一种高效的解决方案。他们利用先进的随机音色文本转语音（TTS）模型，将现有的大规模文本指令数据集转换为包含多种说话人风格的高质量语音指令数据集，有效解决了训练数据匮乏的问题。
第二步：渐进式训练框架设计
为了让模型逐步掌握复杂任务处理能力，训练过程被划分为两个阶段：
基础感知阶段（Grounding Training Stage）：在此阶段，模型学习建立语音指令与 GUI 屏幕元素之间的精准映射关系。例如，“点击‘确定’按钮”需要模型准确理解语义并在屏幕截图中定位目标按钮的位置。
任务规划阶段（Planning Training Stage）：在掌握基本“听—说—看”能力后，模型进入更高阶的任务推理训练。此时，它需理解并执行多步骤复合任务，例如“先登录账号，再查找最新邮件并打开附件”，从而展现出智能代理应有的逻辑推理与任务调度能力。
第三步：启发式混合指令训练策略
由于大多数预训练基座模型主要以文本为核心训练数据，容易产生模态不平衡问题，即模型倾向于依赖熟悉的文本模态，忽视新增的语音模态。
为此，研究团队提出了启发式混合指令训练策略，在训练过程中交替使用语音和文本指令，强制模型对两种模态保持同等关注度，有效缓解模态偏见问题，确保语音信号也能被准确理解和响应。
性能评估结果
对比不同模态指令下的 grounding 性能可以发现，单独使用 speech-based 指令相比 text-based 指令平均定位精度略低 1.6%；但通过混合指令训练策略，不仅可以缓解模态不平衡问题，甚至在某些指标上超越纯文本训练效果。
在 planning 能力方面，基于混合指令训练的 checkpoint，speech-based 指令同样优于 text-based 指令。
此外，在多个基准测试中，GUIRoboTron-Speech 均表现出色。
在 AndroidControl-Low 上使用公开数据时，其平均成功率领先其他方法 1.3%；在 AndroidControl-High 上，相较所有 SOTA 方法高出 7.8%。在 GUI-Odyssey 数据集上，其表现仅次于使用内部数据的 UI-TARS。
这些结果表明，GUIRoboTron-Speech 作为一款支持语音指令的 GUI 智能代理，具备很高的实用价值，能够通过多轮推理和动作预测完成用户任务，验证了 speech-based 指令在 GUI Agent 场景中的可行性。
最后，研究团队还分析了指令长度对任务成功率的影响。结果显示，在指令较短、意图明确的场景下，speech-based 指令表现优于 text-based；但在长指令、复杂意图情况下，text-based 指令更能承载复杂的用户需求。
如何更好地处理复杂语音指令以保持稳定的任务成功率，将是 speech-based GUI Agent 的重要发展方向之一。
联系方式：wenkangh@zju.edu.cn
论文链接：https://arxiv.org/abs/2506.11127
Github 仓库地址：https://github.com/GUIRoboTron/GUIRoboTron-Speech
附：美团实习生招聘
美团 - 基础研发平台 - 实习生招募（优秀者可推荐至北斗计划）
岗位 1：面向图形用户界面（GUI）的自动化操作，包括 mobile use、computer use agent 和 embody agent 等方向，探索大规模模型训练方案、端到端强化学习及自动化轨迹合成技术。
岗位职责 1：
1. 具备良好的工程能力，将算法转化为实际 demo
2. 设计并落地端到端强化学习方案，基于 mobile/pc 环境实现多步骤动作在线调优，推进 data-free 智能体优化方案
3. 探索 2D/3D 世界模型，如 GUI 页面状态转换和具身环境物理状态建模
4. 设计并实现多智能体交互机制，提升 planning、memory、tool_calling 等核心能力
5. 产出高水平学术论文
——————————————————————————————
岗位 2：面向图表（chart）、表格（table）等结构化数据的多模态理解和代码生成，具体任务包括 chartQA 和 chart2Coder，探索高效数据合成方案和类 GRPO 强化微调技术。
岗位职责 2:
1. 运用强化微调技术提升 chartQA 和 chart2Coder 的推理性能与开源评测排名
2. 设计有价值的图表交互方式并构建自定义评测体系，丰富图表大模型的评测维度
3. 完善现有图表数据与评测数据的复杂推理水平，探索 step-by-step 的图表推理与代码生成技术
4. 产出高水平论文
要求：
1- 具备扎实的编程能力和多模态大模型微调经验
2- 有相关项目经验和开源贡献者优先考虑
联系邮箱：mailto:zengzhixiong@meituan.com
欢迎点赞、转发、收藏！
欢迎在评论区留言交流！
— 完 —
点亮星标，第一时间获取科技前沿动态
文本 Unicode 码加密与解密：一个简单实用的工具 今天我们来聊聊一种有趣的文本加密方式——Unicode码加密与解密。这个工具利用Unescape脚本的转换机制，能够将普通文本转换成看似乱码的Unicode编码，实现信息的隐藏与保护。 主要用途 这个工具的应用场景其实相当广泛： 加密中文信函，
使用ASP创建XMLDOM对象，加载XML数据文件与XSL样式文件，调用transformNode方法将样式规则应用到数据，输出HTML内容，实现数据与表现分离，便于后期独立修改与维护。
在处理文本时，有时我们需要根据某个条件或模式，把文件里特定几行标记出来——比如给满足条件的行打个星号。这个活儿用 awk 做起来相当顺手，也是它很实用的功能之一。 举个例子，假设你有一个购物清单文件 food_prices.list，里面列出了想买的食物和单价，内容长这样： $ cat food_p
首尔大学突破性研究：完全平坦的可穿戴发电机，体温驱动未来 最近科技圈有个消息挺有意思。3月20日，知名科技媒体Notebook Check报道了首尔大学研究团队的一项新成果——一款完全平坦的可穿戴发电机。这项研究已经正式发表在权威期刊《科学进展》上，可以说是为“无电池”可穿戴设备撕开了一道新口子。
涂鸦智能成为联合国气候解决方案平台首批战略合作伙伴 11月14日传来一个值得关注的消息。在《联合国气候变化框架公约》第三十次缔约方大会期间，中国AI云平台服务商涂鸦智能，正式成为了联合国气候解决方案平台的全球首批战略合作伙伴之一。这意味着，未来各方都能通过这个平台，共享、验证并推广那些经过实践检验的
“我们的代码，终将写入繁星”：追觅科技成立天文BU，构建从地面到太空的生态闭环 “我们的代码，终将写入繁星。”这句来自追觅科技的宣言，不只是一句诗意的口号，更是一份清晰的战略升级路线图。就在9月10日，这家中国科技企业正式宣告成立天文业务单元（BU），由此完成了一次至关重要的战略跃迁。这标志着其“全
5月30日，华为推出了全新的AI模型——盘古UltraMoE，该模型的参数量达到了7180亿。作为一款接近万亿参数的MoE(MixtureofExperts)模型，它在整个训练过程中完全基于华为的昇腾AI平台完成，标志着华为在超大规模模型训练方面取得了重要进展。盘古UltraMoE的成功训练离不开盘古团队研发的一系列创新技术。例如，Depth-ScaledSandwich-Norm(DSSN)稳定架构的引入，显著改善了超大规模模型训练期间出现的梯度异常及
不谈智能体，客户都不见你。腾讯云副总裁、腾讯云智能负责人、腾讯优图实验室负责人吴运声在采访中坦言。这意味着，如今提供云服务，若没有智能体相关的硬核能力，已难以打动客户。在2025腾讯全球数字生态大会上，腾讯云给出了自己的回应：正式发布智能体开发平台3.0（ADP3.0），并宣布腾讯优图实验室的关键智能体技术将逐步开源。据悉，该版本历经近三个月集中迭代，累计上线近600项功能，在RAG能力、Workflow流程、多智能体协作、应用评测及插件生态等方面实现全面升级。更值得关注的是，腾讯云透露未来数月将持续开源
7月16日，CNMO得知，豪华智能越野SUV——猛士M817将于7月17日举办技术发布及新车预售活动。据了解，猛士M817全车搭载华为全栈智能解决方案，并将率先配备乾崑智驾ADS4。猛士M817作为东风猛士科技与华为合作的首个项目，猛士M817在华为全栈智能解决方案的支持下，实现了智能化、越野性能和高端定位的三重提升，使车辆具备类似人类的感知能力、思考能力和进化能力，为用户带来更加豪华、强悍、智能的出行体验。乾崑智驾ADS4让猛士M817实现了从车位到车位的
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
