当前位置:

首页 > 业界资讯 > 开源大模型AI代理操作系统:像Windos一样,操控AI代理

开源大模型AI代理操作系统:像Windos一样,操控AI代理

本文经AIGC开放社区授权转载,转载请联系出处。想了解更多AIGC的内容,请访问:51CTOAI.x社区https://www.51cto.com/aigc/去年,AutoGPT的出现让我们认识到了AI代理强大的自动化能力,并开创了一个全新的AI代理赛道。但在子任务调度、资源分配以及AI之间协作还有不少的难题需要解决。因此,罗格斯大学的研究人员开发了AIOS,这是一种以大模型为核心的AI代理操作系统。可有效解决随着AI代理的增加,资源调用率低的难题,同时能促进代理之间的上下文切换、实现并发代理并维护代理的

本文经AIGC开放社区 授权转载,转载请联系出处。

想了解更多AIGC的内容,请访问:51CTO AI.x社区

https://www.51cto.com/aigc/

去年,AutoGPT的出现让我们认识到了AI代理强大的自动化能力,并开创了一个全新的AI代理赛道。但在子任务调度、资源分配以及AI之间协作还有不少的难题需要解决。

因此,罗格斯大学的研究人员开发了AIOS,这是一种以大模型为核心的AI代理操作系统。可有效解决随着AI代理的增加,资源调用率低的难题,同时能促进代理之间的上下文切换、实现并发代理并维护代理的访问控制。

开源地址:https://github.com/agiresearch/AIOS

论文地址:https://arxiv.org/abs/2403.16971

开源大模型AI代理操作系统:像Windos一样,操控AI代理

AIOS的架构和我们使用的PC操作系统差不多,主要分为应用层、内核层和硬件层三大块。唯一不同的是,AIOS在内核层中构建了一个专门管理与大模型相关任务的内核管理器。

开源大模型AI代理操作系统:像Windos一样,操控AI代理

应用层主要由代理应用程序构成(例如,旅行代理、数学代理、代码代理等);内核层由传统OS系统和大模型相结合开发,OS系统主要用于文件管理,大模型则用于AI代理的调度和管理;

硬件层由CPU、GPU、内存和外设等硬件设备构成,但是大模型的内核无法与硬件直接交互,而是通过内核层提供的调用来间接管理硬件资源,以确保系统完整性和效率。

AI代理调度器

AI代理调度器主要负责对大模型的代理请求进行合理调度和优化,以充分利用大模型的计算资源。当多个代理同时向大模型发起请求时,调度器需根据特定调度算法对请求进行排序,避免单一代理长时间占用大模型而导致其他代理长时间等待。

此外,AIOS的设计还支持更复杂的调度策略,例如,考虑代理请求间的依赖关系,以实现更优化的资源分配。

在没有调度指令时,代理需按顺序逐一执行任务,后续代理需等待较长时间;而采用调度算法后,各代理的请求能够交错并行执行,显著降低了整体等待时间和响应延迟

上下文管理器

由于大模型生成过程普遍采用Beam Search等启发式搜索,会逐步构建搜索树并评估不同路径最终给出结果。

但在生成过程中大模型若被调度器中断,为避免所有中间状态丢失而浪费之前的计算,上下文管理器会对当前的Beam Search树状态(包括各路径概率等)进行快照保存。

开源大模型AI代理操作系统:像Windos一样,操控AI代理

当大模型重新获得执行资源后,上下文管理器能够准确地从中断处恢复之前的Beam Search状态,继续生成剩余部分,确保最终结果的完整性和准确性。

此外,多数大模型存在上下文长度限制,而实际场景中的输入上下文往往会超出该限制。为解决这一难题,上下文管理器集成了文本摘要等功能,能够对过长的上下文进行压缩或分块处理,使大模型能够高效理解并处理长上下文信息。

内存管理器

内存管理器主要负责管理短期内存资源,为每个AI代理的交互日志和中间数据提供高效的临时存储。

当AI代理处于等待执行或正在运行状态时,其所需的数据将被保存在由内存管理器分配的内存块中。一旦代理任务结束,相应的内存块也会被系统回收,以确保内存资源的高效利用。

开源大模型AI代理操作系统:像Windos一样,操控AI代理

AIOS会为每个AI代理分配独立的内存,并通过访问管理器来实现不同代理之间内存隔离。未来,AIOS会引入更复杂的内存共享机制和层级缓存策略,以进一步优化AI代理的整体性能。

想了解更多AIGC的内容,请访问:51CTO AI.x社区

https://www.51cto.com/aigc/

本文内容来源于互联网,如有侵权请联系删除。
作者最新文章
业界资讯 模型
上一篇: Go语言图形界面开发:探索现有工具与资源
下一篇: Photoshop快捷键修改在哪里?PS2020快捷键设置方法
相关文章 更多
Cloudflare 收购 Astro 团队,强化开源 Web 框架生态
Cloudflare 收购 Astro 团队,强化开源 Web 框架生态

近日Cloudflare收购Astro团队,以强化开源Web框架生态。Astro以内容优先、多框架兼容、毫秒级加载著称,收购后继续保持MIT许可,并支持多平台部署。全新Astro6Beta重构开发服务器,原生集成内容安全策略,极大地提升运行性能与开发体验。

国内首个太空操作系统开源标准体系在京发布
国内首个太空操作系统开源标准体系在京发布

6月29日,2026全球数字经济大会的太空算力论坛在北京海淀举办。这场论坛上,北京太空算力创新中心正式揭牌,同时国内首个太空操作系统开源标准体系也对外亮相。这标志着,我们在太空算力产业的标准化、协同化发展上,迈出了重要一步。活动由全球数字经济大会组委会主办,“北京团队”——市经信局、中关村科学城管委

开源图编辑库NebulaGraphVEditor的设计思路分享
开源图编辑库NebulaGraphVEditor的设计思路分享

本文首发于 NebulaGraph 公众号NebulaGraph VEditor 是一个拥有高性能、高可定制的所见即所得图可视化编辑器前端库。NebulaGraph VEditor 底层基于 SVG 绘图,它通过合理抽象代码结构以易于二次开发和自定义绘制,极适用于审批流,工作流,血缘关系,ETL 处

我在阿里实习做开源
我在阿里实习做开源

李志信 (GitHubID LaurenceLiZhixin),中山大学软件工程专业在校学生,擅长使用 Ja va/Go 语言,专注于云原生和微服务等技术方向。3月19日,初春的杭州,依旧阴雨朦胧。透过 EFC 健身房的落地窗往外看,远处的楼宇、青山、整齐的街道和稀疏的车辆在水雾中若隐若现。午后的小

产品动态|StreamNative宣布开源AWSSQSConnector
产品动态|StreamNative宣布开源AWSSQSConnector

今日,StreamNative宣布发布并开源首版AWS Simple Queue Service (SQS) connector[1],这着实令人振奋!借助SQS connector,您能够毫不费力地在Pulsar与SQS之间实现数据的流动,进而充分发挥这两种消息系统各自的优势。可以说,这是Stre

网易Duilib:功能全面的开源桌面UI开发框架
网易Duilib:功能全面的开源桌面UI开发框架

01 网易 Duilib 框架概述 Duilib 是 Windows 系统下的开源的 DirectUI 界面库(遵循 BSD 协议),完全免费,可用于商业软件开发。Duilib 可以简单方便地实现大多数界面需求,包括换肤、换色、透明等功能,支持多种图片格式,使用 XML 可以方便地定制窗口,能较好地

KubeVela正式开源:一个高可扩展的云原生应用平台与核心引擎
KubeVela正式开源:一个高可扩展的云原生应用平台与核心引擎

美国西部时间 2020 年 11 月 18 日,在云原生技术“最高盛宴”的 KubeCon 北美峰会 2020 上,CNCF 应用交付领域小组(CNCF SIG App Delivery) 与 Open Application Model (OAM) 社区,以及来自阿里云、微软云的 OAM 项目维护

对开源框架跃跃欲试,却在写的时候犯了难?
对开源框架跃跃欲试,却在写的时候犯了难?

本文涉及的开源框架,仅包含前端、后端和客户端三个方面开源的世界里到处都是“奇珍异宝”,那些琳琅满目的开源项目,它们各有特色有的是简单清爽的小工具,有的是令人称奇的黑科技,还有的是解决痛点的技术方案。这些开源项目处处散发着“诱人”的气息,让人跃跃欲试、欲罢不能。作为程序员的你,看到那些高星、高性能、高

Databend开源周报第108期
Databend开源周报第108期

Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn 。What's On In Databend探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。多源数据目录在 D

Databend开源周报第107期
Databend开源周报第107期

Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn 。What's On In Databend探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。理解连接参数连接参

查看更多
精品专题 更多
装机必备
装机必备

正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

Windows
Windows

正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

macOS软件
macOS软件

正软商城macOS软件专区,精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具,提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

Mac软件 更多
灵活计算器
灵活计算器
macOS/iOS/Android

灵活计算器是一款笔记式算数应用,支持实时计算、动态关联和云端同步功能。记录、整理和输出之间的过渡会更自然,适合长期写作、做笔记或持续沉淀个人内容。

赤友清理大师
赤友清理大师
macOS

赤友清理大师是一款为 Mac 设计的智能清理优化工具,可精准扫描垃圾、大文件、重复文件等,释放磁盘空间。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

WINDOWS 更多
Windows 10
Windows 10
Windows

Windows 10 是一款微软推出的经典操作系统,拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起,适合需要持续观察和微调设备状态的场景。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

密码键盘
密码键盘
Windows/macOS/iOS/Android

密码键盘是一款兼具安全性与便捷性的高效密码管理器。日常使用里的持续防护和信息管理会更突出,适合把安全控制放进长期使用流程中的场景。