Agent善于合作分工，并通过“群聊”交流信息
智能体也要有“规范手册”！一项名为MetaGPT的研究，通过对智能体角色进行明确分工，并要求多个智能体在协作中采用统一规范的“交流格式”等方法，让智能体性能大增。目前，这项研究在GitHub上已狂揽33.6k星，并在深度学习顶会ICLR2024上被收录为Oral论文。总的来说，MetaGPT是模仿人类的分工协作方式，将各种任务的标准操作流程编码为智能体的“规范手册”，不同角色的智能体负责不同的专业任务。比如产品经理角色可以使用网络搜索工具，而工程师角色可以执行代码：由此多智能体协作完成任务。研究人员为智能
智能体也要有“规范手册”！
一项名为MetaGPT的研究，通过对智能体角色进行明确分工，并要求多个智能体在协作中采用统一规范的“交流格式”等方法，让智能体性能大增。
目前，这项研究在GitHub上已狂揽33.6k星，并在深度学习顶会ICLR 2024上被收录为Oral论文。
总的来说，MetaGPT是模仿人类的分工协作方式，将各种任务的标准操作流程编码为智能体的“规范手册”，不同角色的智能体负责不同的专业任务。
比如产品经理角色可以使用网络搜索工具，而工程师角色可以执行代码：
由此多智能体协作完成任务。
研究人员为智能体们设置了一个“消息共享群”，智能体可以自由查看其他智能体发送的相关消息。
经测试，使用这种方法，在代码补全任务的公开数据集HumanEval和MBPP上，MetaGPT分别取得了85.9%和87.7%的新SOTA。
目前这项工作已开源，在全网受到不少网友关注：
MetaGPT长啥样？
这项研究由DeepWisdom团队联合KAUST AI中心、厦门大学、CUHK（SZ）、南京大学、UPenn以及UCB等众多高校机构的学者共同提出。
随着大模型能力的不断提升，基于大模型的智能体来解决各种任务在学术界和工业界的兴趣日益增长。
值得注意的是，对于采用多个智能体协作解决特定领域问题的研究仍处于早期阶段。现有研究主要集中在通过角色扮演机制和通信拓扑设定来增强任务理解和推理决策能力。尽管取得了一定进展，但这些方法仍然依赖于直接的对话形式，缺乏对智能体行为的标准规范和约束。
近期的一些工作也指出，基于对话形式的多智能体系统可能面临信息不一致、歧义以及可能的无效重复和无限循环等问题。
相较之下，人类工作流程中的标准操作流程（SOPs）不仅明确定义了参与角色的分工和拓扑结构，还建立了角色产出结果的标准规范。
研究表明，明确定义的SOPs可以提高任务执行的一致性和准确性，确保最终结果符合规定的质量标准。因此，为解决多智能体协作中的挑战，研究人员设计了基于大模型的智能体元编程框架MetaGPT。
MetaGPT要求智能体以专家形式参与协作，并按要求生成结构化的输出，例如高质量的需求文档、架构设计图和流程图等。
结构化的输出对于单个智能体即是更高层次的思维链（Chain-of-Thought），对于下游角色则是语义清晰、目标明确的上下文（Context）。
在MetaGPT的框架中，研究人员将SOPs的概念对齐至角色专业化、通信协议设计以及迭代式的可执行反馈设计。
角色专业化
通过明确定义的角色分工，复杂的工作得以分解为更小、更具体的任务。
如下图所示，不同专业的角色，初始化为不同的目标和约束，以及不同的专业技能。如产品经理角色可以使用网络搜索工具，而工程师角色可以执行代码。与此同时，每个角色都默认遵循ReAct的行为模式。
角色专业化使得每个智能体能够专注于其领域内的具体任务，从而提升了大模型的输出质量。
对于软件开发而言，通过角色的流转，这种分工更巧妙地完成了从自然语言到编程语言的对齐。论文中的角色消融实验进一步证明了这一部分的效果。
通信协议设计
在实际应用中，自然语言虽然具备语义的丰富性，但由于其非结构化的特性，在消息传递过程中常常会导致信息的歪曲甚至重要内容的丢失。
为解决这一问题，作者约束智能体以结构化的输出（包括文档和图表）参与协作，来提高信息的清晰度和完整性。为验证这一设计，作者设计了多种软件开发任务，通过生成代码的可执行性以及生产力指标强调结构化输出在协作中的关键性。
在多智能体协作过程中，为提高通信效率，MetaGPT引入了基于消息共享的发布-订阅机制（Publish-Subscribe Mechanism）。
如上图所示，共享消息池允许直接交换消息，任何智能体都可以透明地访问来自其他智能体的消息，无需询问并等待响应。订阅机制使智能体更倾向于接收与自我任务相关的信息，避免分心于不相关的细节。同时，每个智能体可直接从共享消息池中检索所需信息，形成自我记忆。
可执行反馈
智能体根据环境反馈进行自我优化和主动更新，是智能体具备自主意识的表现。
在软件开发任务上，MetaGPT为工程师的智能体设计了可执行反馈机制，以进行代码质量自动优化。
具体而言，工程师编写并执行相应的单元测试用例，通过观察到的执行结果，递归地进行决策和自我提示，实现自动debug。这种设计-测试-反馈的迭代过程持续进行，直到单元测试通过或达到最大重试次数。
多个基准测试新SOTA
在代码生成能力上，研究人员采用了两个公开基准数据集：HumanEval和MBPP，并报告Pass@1指标。
另外，他们还收集了涵盖70个典型软件开发任务（如迷你游戏、数据可视化、图像处理等）的数据集SoftwareDev，并进行了多个智能体开源框架的对比，对多个软件开发任务的可执行性和生产效率上进行了统计分析和定性说明。
如下图所示，MetaGPT在HumanEval和MBPP基准测试中均优于之前的方法，分别达到了85.9%和87.7%。相比于GPT-4的结果，MetaGPT在HumanEval数据集上相对提升了28.2%，而加入可执行反馈机制分别在HumanEval和MBPP上提升了4.2%和5.4%。
在具有挑战性的SoftwareDev数据集上，MetaGPT在可执行性上的得分为3.75，非常接近4，而所需的运行时间较短(503秒)；生成的代码行数相对基线框架增加了2.24倍，而单位代码行数所消耗的token数下降了50%。
这些结果突显了多智能体协作过程中SOPs带来的效率提升。
MetaGPT在软件开发任务中的高可执行性和相对较短的运行时间表明了其在实际应用中的实用性和效率。
聚焦在软件开发领域，研究人员提供了不同智能体框架能力的定性对比。
他们发现，MetaGPT不仅具备多种模态的文件生成能力，也是目前众多框架中唯一完整覆盖了真实世界中软件开发过程的开源框架。
总的来说，MetaGPT是一个新颖的多智能体框架，结合元编程思想，嵌入SOPs来增强大模型在多智能体协作上的能力。
通过角色专业化，工作流管理和灵活的消息机制，使其成为通用性和可移植性高的多智能体框架。
结合迭代式的反馈机制，MetaGPT在多个基准测试上取得SOTA性能。
结合人类社会实践的SOPs，启发了未来对于多智能体社会的研究和探索，也可视为对基于大模型的多智能体框架进行调节的早期尝试。
论文链接：https://arxiv.org/abs/2308.00352
代码链接：https://github.com/geekan/MetaGPT
近日，有汽车领域博主爆料，特斯拉的FSD（完全自动驾驶）辅助系统将迎来一次重要升级，或将实现更真实的环境场景还原。在最新曝光的软件代码中，发现了大量新增的渲染模型，涵盖多种车辆与行人类型。这些新增模型包括救护车、消防车、垃圾清运车、校车、半挂式卡车、高尔夫球车、骑电动滑板车的行人、使用轮椅的行人、玩滑板的行人、推婴儿车的行人，以及道路清扫车、三轮车、拖车、火车和有轨电车等。这一系列高精度建模意味着FSD系统将能更准确识别并响应复杂交通参与者的行为。据CNMO掌握的消息，日本方面已为特斯拉FSD系统的落地扫
AI视频生成正迎来属于“通义”的高光时刻！就在昨晚，阿里巴巴悄然推出了一款由音频驱动的14B视频大模型——Wan2.2-S2V。只需上传一张静态图片和一段音频，就能生成出面部表情生动、口型精准匹配、肢体动作流畅自然的电影级数字人视频，效果惊艳。实际效果展示如下：△来自@AIMIRAI46487更令人振奋的是，这款新模型一经发布便全面开源，现在所有人都可以免费在通义万相官网体验使用。据官方介绍，Wan2.2-S2V的核心优势包括：支持最长分钟级的单次视频生成，画面稳定且具有一致性；具备影院级别的音
5月30日，华为推出了全新的AI模型——盘古UltraMoE，该模型的参数量达到了7180亿。作为一款接近万亿参数的MoE(MixtureofExperts)模型，它在整个训练过程中完全基于华为的昇腾AI平台完成，标志着华为在超大规模模型训练方面取得了重要进展。盘古UltraMoE的成功训练离不开盘古团队研发的一系列创新技术。例如，Depth-ScaledSandwich-Norm(DSSN)稳定架构的引入，显著改善了超大规模模型训练期间出现的梯度异常及
大语言模型面对加密数据，即便最新的Qwen3也会感到压力！尽管当下各类推理模型在多种基准测试中表现优异，但在密码学这样对逻辑严谨性和细节准确性要求极高的专业领域，模型的推理能力还有待深入挖掘。密码学不仅要求模型具备高级数学运算能力和严密的逻辑推理链，还需要其能够精准辨识复杂加密模式中的潜在规律；成功解密要求模型拥有极强的综合推理能力。上海AILab等联合推出的CipherBank测评，使用大量真实隐私场景数据和多种密码算法，严苛挑战当前最先进的大模型。CipherBank的测评结果显示，目前的大语言模型
现在，请大家一起来数一下"1"、"2"。OK，仅仅2秒的时间，一个接近万亿规模的MoE大模型就已经掌握了如何解答一道高等数学难题的方法！而且呢，这个大模型还是完全依靠国产设备进行训练的，整个流程都体现了浓浓的“国产”特色。这就是华为借助"昇腾+PanguUltraMoE"这一组合实现的成果——不仅达成了国产算力与国产模型在全流程上的自主可控训练闭环，还在集群训练系统的性能方面达到了行业顶尖水平。有多顶尖？来看一组数据：预训练阶段：昇腾Atlas800TA2万卡集群的MFU提升
只需动动嘴，就能操控GUI代理？由美团与浙江大学联合推出的GUIRoboTron-Speech——让你彻底解放双手，直接对设备“发号施令”。这是首个可以直接通过语音指令和屏幕截图进行端到端（End-to-End）决策的自主GUI智能体，致力于为用户提供更自然、高效且无障碍的人机交互方式。从文本到语音，智能代理的新一轮进化目前，基于大语言模型（LLMs）的自主GUI智能体已经能够通过文本指令自动完成跨应用、多步骤的复杂操作，显著提升用户效率。然而，这种依赖文本输入的方式在某些场景中存在明显局限
强化学习（RL）结合真实搜索引擎可以显著提升大模型的检索和推理能力。然而，这一方法面临两大挑战：搜索引擎返回的文档质量不稳定，导致训练过程中的噪音和不稳定性；RL训练需要频繁部署，产生大量API开销，限制了可扩展性。针对这些问题，阿里通义实验室推出了开源解决方案ZeroSearch，这是一个无需与真实搜索引擎交互的强化学习框架。实验表明，ZeroSearch只需使用3B参数的LLM作为检索模块，就能有效提升搜索能力，并大幅节省API成本。ZeroSearch让LLM实现自给自足
编辑：桃子【新智元导读】第二代Ameca升级亮相，搭载GPT-4技术，实现实时对话。人形机器人Ameca迎来了它的第二代版本！近期，在2024年世界移动通信大会（MWC）上，全球最先进的机器人Ameca再度亮相。Ameca在会场周围吸引了大量观众。通过GPT-4的增强，Ameca能够即时回应各种问题。「展示一段舞蹈吧」。当被问及是否有情感时，Ameca通过一系列逼真的面部表情作出回应。就在几天前，开发Ameca的英国机器人公司EngineeredArts展示了他们团队的最新成果。视频中，Ameca具备了
Windows 10 是一款微软推出的经典操作系统，拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起，适合需要持续观察和微调设备状态的场景。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
