当前位置:

首页 > 硬件相关 > 阿里PC-Agent重构交互,跨应用指令拆解,办公自动化更进一步

阿里PC-Agent重构交互,跨应用指令拆解,办公自动化更进一步

阿里巴巴通义实验室推出的PC-Agent框架,旨在解决复杂PC任务自动化难题。该框架能够跨越不同应用程序,完成从Office到浏览器的各种复杂工作流。PC-Agent并非简单的指令执行器,它能够理解并执行一系列复杂指令,例如:在记事本中读取文件信息并设置闹钟;在文件管理器中查找文件,并将信息添加到其他应用;搜索股票信息并将其记录到Excel表格;读取邮件信息并预订机票;以及编辑Word文档格式等。现有方法如UFO和Agent-S在处理复杂PC任务时存在局限性,主要体现在对文本的精细感知和操作能力不

本文目录

    阿里巴巴通义实验室推出的PC-Agent框架,旨在解决复杂PC任务自动化难题。该框架能够跨越不同应用程序,完成从Office到浏览器的各种复杂工作流。

     阿里 PC-Agent 重构人机交互,精准拆解跨应用指令,自动化办公更进一步

    PC-Agent并非简单的指令执行器,它能够理解并执行一系列复杂指令,例如:在记事本中读取文件信息并设置闹钟;在文件管理器中查找文件,并将信息添加到其他应用;搜索股票信息并将其记录到Excel表格;读取邮件信息并预订机票;以及编辑Word文档格式等。

     阿里 PC-Agent 重构人机交互,精准拆解跨应用指令,自动化办公更进一步

    现有方法如UFO和Agent-S在处理复杂PC任务时存在局限性,主要体现在对文本的精细感知和操作能力不足,以及忽略了子任务间的复杂依赖关系。PC-Agent通过以下两项关键技术创新来克服这些挑战:

    1. 主动感知模块(APM): APM能够精细感知屏幕内容并进行操作。它结合了可访问性树(accessibility tree)和基于多模态大模型(MLLM)的意图理解模块,实现对可交互元素和文本信息的精准定位和操作。

     阿里 PC-Agent 重构人机交互,精准拆解跨应用指令,自动化办公更进一步

    2. 层次化多智能体协作: PC-Agent采用三层架构:指令层、子任务层和动作层。指令层由Manager智能体负责将复杂指令分解为子任务;子任务层由Progress智能体跟踪和管理子任务进度;动作层由Decision智能体负责决策和执行操作,Reflection智能体负责反馈和纠错。这种层次化结构能够有效处理子任务间的依赖关系,并实现精确的进度感知和错误反馈。

     阿里 PC-Agent 重构人机交互,精准拆解跨应用指令,自动化办公更进一步

    为了评估PC-Agent的性能,研究人员构建了一个名为PC-Eval的复杂指令集,包含25条涉及8个常用PC应用程序的指令。实验结果表明,PC-Agent在复杂任务上的表现显著优于现有方法,能够有效处理精细化操作和长程决策。

     阿里 PC-Agent 重构人机交互,精准拆解跨应用指令,自动化办公更进一步

     阿里 PC-Agent 重构人机交互,精准拆解跨应用指令,自动化办公更进一步

    下图展示了PC-Agent执行部分任务的示例,包括搜索信息并编辑Excel表格、Reflection智能体发现并反馈无效操作,以及在Word文档中进行格式编辑等。

     阿里 PC-Agent 重构人机交互,精准拆解跨应用指令,自动化办公更进一步  阿里 PC-Agent 重构人机交互,精准拆解跨应用指令,自动化办公更进一步  阿里 PC-Agent 重构人机交互,精准拆解跨应用指令,自动化办公更进一步

    论文链接:https://arxiv.org/pdf/2502.14282

    代码链接:https://github.com/X-PLUG/MobileAgent/tree/main/PC-Agent

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    硬件相关 应用 翻译
    相关文章 更多
    早稻田大学等机构联合揭示跨语言深度研究的致命盲点
    早稻田大学等机构联合揭示跨语言深度研究的致命盲点

    多机构研究发现,深度研究智能体在跨语言场景存在致命盲点:证据与问题语言不一致时,AI正确率从64.70%降至42.29%,检索召回率降20个百分点,且更盲目自信。即便提供翻译后的正确证据,表现仍不及英文,暴露检索与理解双重瓶颈。

    五角大楼发布新一批UFO文件
    五角大楼发布新一批UFO文件

    美国五角大楼于7月10日公布新一批与不明异常现象(UFO)相关的文件,涵盖官方记录的军方目击事件及分析报告,旨在进一步公开调查信息,提升透明度。

    美再次公布UFO文件 “气球状”物体视频曝光
    美再次公布UFO文件 “气球状”物体视频曝光

    美国国防部7月10日公布40份UFO相关文件,包括视频、音频等。其中一段2020年视频显示,大西洋上空出现约3.7至4.6米高的栗色气球状物体,由海军武器系统操作员描述。这是特朗普要求下第四次解密文件。

    美国公布迄今为止“最清晰”UFO视频
    美国公布迄今为止“最清晰”UFO视频

    美国国防部公布第四批UFO文件,含14份文档、19个视频等。其中一段2020年红外传感器拍摄的32秒视频被美媒称为迄今最清晰,物体呈褐红色,高约3.6至4.6米,随风移动,未自主机动,外观近似扭曲气球。文件涉及多个机构,时间跨度1948至2025年,近两年占比上升,后续将继续公布。

    阿里发布Qwen3.8预览版 首个2.4T参数模型即将开源
    阿里发布Qwen3.8预览版 首个2.4T参数模型即将开源

    阿里巴巴发布Qwen3.8-Max预览版,总参数规模高达2.4万亿,采用MoE架构,支持100万Token超长上下文,具备多模态与多智能体协同能力,兼容业界主流接口协议,已上线阿里云百炼平台,推理能力显著提升,性能强劲,支持多种任务。

    高德“位置口令”上线:说不清位置就发6个数字
    高德“位置口令”上线:说不清位置就发6个数字

    高德上线“位置口令”功能,可将任意位置生成6位数字编码,对方输入即可定位导航。该方案基于经纬度随机编码,无需依赖地点名称,支持国内外及港澳台,口令默认15分钟有效期,可延长至24小时。

    欧盟对阿里AliExpress开出5.5亿欧元罚单 DSA实施以来最高
    欧盟对阿里AliExpress开出5.5亿欧元罚单 DSA实施以来最高

    欧盟委员会依据《数字服务法案》对阿里速卖通处以5.5亿欧元罚款,指控其未有效评估和降低非法商品传播风险,暴露出审核、广告推荐及风险缓释环节的漏洞。速卖通表示异议并考虑法律措施。

    长鑫科技发行结果:市盈率高达309倍,阿里美团蔚来各斥资1.58亿押注
    长鑫科技发行结果:市盈率高达309倍,阿里美团蔚来各斥资1.58亿押注

    长鑫科技科创板IPO发行结果出炉,市盈率高达309倍。阿里、美团、蔚来等十余家产业资本各斥资1.58亿元认购。战略配售缩水,社保基金领衔。网上中签率约0.47%,弃购股份由主承销商包销,募资总额约579亿元。

    让 Asp 与 XML 交互
    让 Asp 与 XML 交互

    使用ASP创建XMLDOM对象,加载XML数据文件与XSL样式文件,调用transformNode方法将样式规则应用到数据,输出HTML内容,实现数据与表现分离,便于后期独立修改与维护。

    7.5万字离职长文风波后 钉钉紧急换帅
    7.5万字离职长文风波后 钉钉紧急换帅

    钉钉前员工发布7.5万字离职长文,揭露内部高压文化与官僚主义,引发广泛关注和舆论压力。阿里合伙人委员会严厉批评后,CEO陈航卸任,由1992年出生的陈宇森接替。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。