当前位置:

首页 > 业界资讯 > 斯坦福20亿参数端测多模态AI Agent模型大升级,手机汽车机器人都能用

斯坦福20亿参数端测多模态AI Agent模型大升级,手机汽车机器人都能用

Air Explorer Pro
Air Explorer Pro

Air Explorer Pro是一款跨平台多网盘管理工具,可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整,持续下载、批量同步或需要稳定传输流程的场景会更适合它。

立即下载
¥99
Windows/macOS 2026-08-22
正版软件 Windows macOS软件 Pro 文件搜索工具 Pro下载 Pro正版软件 Pro购买

全球首个超小型多模态AIAgent模型OctopusV3,来自斯坦福大学的NEXAAI团队,让Agent更加智能、快速、能耗及成本降低。今年四月份初,NEXAAI推出了备受瞩目的OctopusV2,该模型在函数调用性能上超越了GPT-4,减少了95%的推理时所需的文本量,为端侧AI应用带来了新的可能性。其专利性核心技术“functionaltoken”通过创新的函数调用方式显著减少推理时所需的文本长度。这种方法使得模型能够在只有20亿参数的情况下实现高效训练,并在精度和延迟方面超越了GPT-4,适应了各种

本文目录

    全球首个超小型多模态AI Agent模型Octopus V3,来自斯坦福大学的NEXA AI团队,让Agent更加智能、快速、能耗及成本降低。

    斯坦福20亿参数端测多模态AI Agent模型大升级,手机汽车机器人都能用

    今年四月份初,NEXA AI推出了备受瞩目的Octopus V2,该模型在函数调用性能上超越了GPT-4,减少了95%的推理时所需的文本量,为端侧AI应用带来了新的可能性。其专利性核心技术“functional token”通过创新的函数调用方式显著减少推理时所需的文本长度。

    这种方法使得模型能够在只有20亿参数的情况下实现高效训练,并在精度和延迟方面超越了GPT-4,适应了各种端设备的部署需求。

    自Octopus V2在LLM社区发布以来,受到了广泛关注,吸引了大量人工智能领域专家和研究者的赞赏,如Hugging Face的CTO Julien Chaumond、知名AI新闻通讯AI的创始人Rowan Cheung以及Figure AI的创始人Brett Adcock、OPPO边缘人工智能团队负责人Manoj Kumar等。他们被誉为“开创了端侧AI技术新纪元”。

    在知名开源AI平台Hugging Face上,Octopus V2下载量已经超过12000次。

    斯坦福20亿参数端测多模态AI Agent模型大升级,手机汽车机器人都能用

    在不到一个月的时间里,NEXA AI团队发布下一代多模态AI Agent模型Octopus V3,展现进一步突破:具有图像处理和多语言文本处理能力,为智能手机等端侧设备真正走向AI时代铺平了道路。

    斯坦福20亿参数端测多模态AI Agent模型大升级,手机汽车机器人都能用

    首个参数量小于10亿的多模态AI Agent模型

    Octopus+V3不仅拥有多模式能力,在函数调用性能上远超同类模型,可媲美GPT-4V+GPT4;而模型参数量不达10亿,具有多语言能力。

    也就是说,相比传统的大型语言模型,它体积更小,能耗更低,能够更加轻松地在各种小型端设备上运行,比如树莓派,并做到高速且准确的函数调用。

    这意味着,未来AI Agent能够广泛应用于智能手机、AR/VR、机器人、智能汽车等端侧设备,为用户交互体验更加流畅、智能。

    另一方面,由于V3具有多模态处理能力,可同时处理文本和图像输入,再加上多语言能力,也将让用户体验更加丰富。

    例如,在Instacart购物应用中,用户可以通过一张菠萝的图片及简单的对话指令,让AI Agent自动为他们搜索商品,提高了效率和用户的体验。

    斯坦福20亿参数端测多模态AI Agent模型大升级,手机汽车机器人都能用

    再比如,在发送邮件等场景中,Octopus V3可以根据一张具有文字的图像,自动提取信息并填写邮件内容,为用户提供更加智能、便捷的服务。

    斯坦福20亿参数端测多模态AI Agent模型大升级,手机汽车机器人都能用

    从软件交互到智能汽车,端侧AI潜力巨大

    基于这些特性,Octopus V2及V3的应用场景丰富多样,具有广泛的应用前景。

    除上文提到的手机场景,当Octopus V2应用在智能汽车上时,也能带来新的交互体验。目前的语音助手往往难以帮助车主完成较为复杂的任务,如在驾驶途中临时改变目的地、加入额外停靠点等。应用Octopus V3后,AI助手能够基于较为模糊简单的指令快速、精准地完成相应任务。

    结合V2、V3的能力,从信息检索、到基于指令完成设计,用户可以在虚拟场景下获得流畅的AI体验:在一个社区用户的VR场景demo中,输入简单的语音指令后,AI Agent能够帮助用户快速完成一个客厅设计,在弹指间替换沙发、改变颜色灯光等。在用户输入旅行指令后,用户快速来到了日本,而AI Agent同样可以在简单的对话式交流中帮助用户搜索相应景点,提供丰富的信息。

    数据显示,全球大型语言模型市场规模正在快速增长。Granview Research报告显示,全球大型语言模型市场规模估计为43.5亿美元,并预计从2024年到2030年的复合年增长率为35.9%。同样,边缘人工智能市场也呈现出蓬勃发展的势头——预计从2023年到2030年,全球边缘人工智能市场的复合年增长率为21.0%,到2030年将达到664.78亿美元。

    NEXA AI团队由斯坦福大学的杰出研究人员创立。

    创始人兼首席科学家Alex Chen(陈伟)正在攻读斯坦福大学的博士学位,拥有丰富的人工智能研究经验,并且曾担任斯坦福华人创业协会(Stanford Chinese Entrepreneurs Organization)的主席。

    联合创始人兼首席技术官Zack Li(李志远)也是斯坦福大学的毕业生,并在Google和Amazon Lab126实验室拥有4年端侧AI的一线研发经验,同样曾经担任斯坦福华人创业协会的主席。

    斯坦福大学副教授、斯坦福技术创业项目副主任Charles (Chuck) Eesley担任顾问,为团队提供指导和支持。

    斯坦福20亿参数端测多模态AI Agent模型大升级,手机汽车机器人都能用△左:李志远;右:陈伟

    目前,NEXA AI的独创性技术已申请专利保护。

    NEXA AI的创始团队表示,他们将继续致力于推动端侧AI技术的发展,通过开源模型提升其创新技术的影响力,为用户创造更智能、高效的未来生活。

    论文地址:https://arxiv.org/abs/2404.11459

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    业界资讯 AI
    上一篇: 揭秘FHE技术:探索零知识技术以外的数据隐私方案
    下一篇: wps表格中数值调节钮和文本怎么一起复制移动_wps表格中数值调节钮和文本一起复制移动的方法
    相关文章 更多
    AI重构企业业务架构:超聚变“智企”范式核心解析
    AI重构企业业务架构:超聚变“智企”范式核心解析

    本文解析超聚变在2026数博会发布的“智企”范式,重点阐述如何通过Token生产平台(Token Factory)与企业业务本体建模,实现从简单AI工具调用到企业应用架构系统性重构的演进。文章详细拆解了智能体编排、数字孪生及生态协同等关键技术路径,为AI时代企业数字化转型提供可落地的参考方案。

    微软推出Project Zenith:面向Windows 11开发者的AI硬件加速方案
    微软推出Project Zenith:面向Windows 11开发者的AI硬件加速方案

    微软于9月5日推出Project Zenith,旨在为Windows 11开发者提供更高效的AI开发体验。该项目目前仅支持配备超过64GB统一内存及250GB/s内存带宽的特定硬件,首发适配AMD Ryzen AI Halo设备。通过此项目,开发者可在本地运行参数超过300亿的AI模型,后续将分阶段扩展至更多合作伙伴设备。

    习惯Office转WPS要多久?双生态兼容与无缝切换指南
    习惯Office转WPS要多久?双生态兼容与无缝切换指南

    从Office转向WPS的核心操作肌肉记忆切换通常需3至7天,不影响正常办公。适应期长短取决于界面视觉差异与专属格式配置。通过切换“经典界面”、嵌入字体及开启云同步,可实现平滑过渡。本文详解格式兼容、数据迁移及AI功能适用场景,适用于需多端协同、成本控制及国产化兼容的办公人群。

    专家:AI聊天不能越界成“精神依赖”|科技观察
    专家:AI聊天不能越界成“精神依赖”|科技观察

    加拿大一母亲起诉OpenAI,称ChatGPT设计缺陷导致其女儿自杀,指控其优先用户参与度而非安全性,持续提供情感支持致过度依赖。专家指出AI应“陪伴但不过界”,需设定边界并引导求助。国家已出台拟人化互动服务管理办法。

    未上真车,AI先当教练!2026届高考生,将成为首批“原生AI司机”?
    未上真车,AI先当教练!2026届高考生,将成为首批“原生AI司机”?

    2026届高考生学车时多采用AI教练,逐步适应人机共驾。作为与生成式AI共同成长的一代,他们更易接受智能驾驶,未来可能成为首批“原生AI司机”。至2030年前后,其人生首辆车或具备L3级自动驾驶能力,驾驶角色将从操控者转向监督者。

    AI热潮来袭,何去何从?别被“错失恐惧症”裹挟!
    AI热潮来袭,何去何从?别被“错失恐惧症”裹挟!

    全球股市因AI热潮呈现K型分化,半导体板块估值逼近百倍市盈率。历史警示:2000年互联网泡沫中的“四骑士”最终市值暴跌或长期盘整。投资者应警惕“错失恐惧症”,重视安全边际、护城河与能力圈,避免被高估值裹挟,关注稳健性与股息率。

    报告:背负技术债的企业更难从 AI 应用中获益
    报告:背负技术债的企业更难从 AI 应用中获益

    Cloudflare报告显示,完成应用现代化的企业从AI投资中获得可衡量回报的概率是未现代化企业的三倍。93%的决策者视系统更新为AI先决条件,91%的领先企业已嵌入AI功能。安全与现代化协同推进可使AI成熟度提升四倍,精简技术架构成为竞争力分水岭。

    微软称保守假设下,典型AI查询耗水量少于1滴水
    微软称保守假设下,典型AI查询耗水量少于1滴水

    据微软引用《Joule》期刊的一项研究指出,每一次典型人工智能查询耗电量零点一六至零点六零瓦时,其冷却用水量中位数不足一滴水。大规模部署下,单位查询的效率会更高,总能耗可以降低一半以上。

    A股异动丨PCB概念掀涨停潮,大摩称AI光模块PCB三年迎5倍增长
    A股异动丨PCB概念掀涨停潮,大摩称AI光模块PCB三年迎5倍增长

    A股PCB概念板块掀起涨停潮,因摩根士丹利报告预测AI光模块PCB市场三年增长超5倍,2025至2028年规模从6.2亿美元增至37.7亿美元,年复合增速高达83%,远超光模块整体增速。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。

    即将离开本站
    您即将前往第三方网站,请确认是否继续?