超越GPT-4，斯坦福团队手机可跑的大模型火了，一夜下载量超2k
在大模型落地应用的过程中，端侧AI是非常重要的一个方向。近日，斯坦福大学研究人员推出的Octopusv2火了，受到了开发者社区的极大关注，模型一夜下载量超2k。20亿参数的Octopusv2可以在智能手机、汽车、个人电脑等端侧运行，在准确性和延迟方面超越了GPT-4，并将上下文长度减少了95%。此外，Octopusv2比Llama7B+RAG方案快36倍。不少网友感叹：设备端AI智能体的时代到来了！论文：Octopusv2:On-devicelanguagemodelforsuperagent论文地址：h
在大模型落地应用的过程中，端侧 AI 是非常重要的一个方向。
近日，斯坦福大学研究人员推出的 Octopus v2 火了，受到了开发者社区的极大关注，模型一夜下载量超 2k。
20 亿参数的 Octopus v2 可以在智能手机、汽车、个人电脑等端侧运行，在准确性和延迟方面超越了 GPT-4，并将上下文长度减少了 95%。此外，Octopus v2 比 Llama7B + RAG 方案快 36 倍。
论文：Octopus v2: On-device language model for super agent
论文地址：https://arxiv.org/abs/2404.01744
模型主页：https://huggingface.co/NexaAIDev/Octopus-v2
模型概述
Octopus-V2-2B+是一种开源语言模型，拥有20亿参数，专为Android API量身定制。它可以在Android设备上无缝运行，并将实用性扩展到从Android系统管理到多个设备的编排等各种应用程序。
通常，检索增强生成 (RAG) 方法需要对潜在函数参数进行详细描述（有时需要多达数万个输入 token）。基于此，Octopus-V2-2B 在训练和推理阶段引入了独特的函数 token 策略，不仅使其能够达到与 GPT-4 相当的性能水平，而且还显著提高了推理速度，超越了基于 RAG 的方法，这使得它对边缘计算设备特别有利。
Octopus-V2-2B 能够在各种复杂场景中生成单独的、嵌套的和并行的函数调用。
数据集
为了训练、验证和测试阶段采用高质量数据集，特别是实现高效训练，研究团队用三个关键阶段创建数据集：
生成相关的查询及其关联的函数调用参数；
由适当的函数组件生成不相关的查询；
通过 Google Gemini 实现二进制验证支持。
研究团队编写了 20 个 Android API 描述，用于训练模型。下面是一个 Android API 描述示例：
def get_trending_news (category=None, region='US', language='en', max_results=5):"""Fetches trending news articles based on category, region, and language.Parameters:- category (str, optional): News category to filter by, by default use None for all categories. Optional to provide.- region (str, optional): ISO 3166-1 alpha-2 country code for region-specific news, by default, uses 'US'. Optional to provide.- language (str, optional): ISO 639-1 language code for article language, by default uses 'en'. Optional to provide.- max_results (int, optional): Maximum number of articles to return, by default, uses 5. Optional to provide.Returns:- list [str]: A list of strings, each representing an article. Each string contains the article's heading and URL. """
模型开发与训练
该研究采用 Google Gemma-2B 模型作为框架中的预训练模型，并采用两种不同的训练方法：完整模型训练和 LoRA 模型训练。
在完整模型训练中，该研究使用 AdamW 优化器，学习率设置为 5e-5，warm-up 的 step 数设置为 10，采用线性学习率调度器。
LoRA 模型训练采用与完整模型训练相同的优化器和学习率配置，LoRA rank 设置为 16，并将 LoRA 应用于以下模块：q_proj、k_proj、v_proj、o_proj、up_proj、down_proj。其中，LoRA alpha 参数设置为 32。
对于两种训练方法，epoch 数均设置为 3。
使用以下代码，就可以在单个 GPU 上运行 Octopus-V2-2B 模型。
from transformers import AutoTokenizer, GemmaForCausalLMimport torchimport timedef inference (input_text):start_time = time.time ()input_ids = tokenizer (input_text, return_tensors="pt").to (model.device)input_length = input_ids ["input_ids"].shape [1]outputs = model.generate (input_ids=input_ids ["input_ids"], max_length=1024,do_sample=False)generated_sequence = outputs [:, input_length:].tolist ()res = tokenizer.decode (generated_sequence [0])end_time = time.time ()return {"output": res, "latency": end_time - start_time}model_id = "NexaAIDev/Octopus-v2"tokenizer = AutoTokenizer.from_pretrained (model_id)model = GemmaForCausalLM.from_pretrained (model_id, torch_dtype=torch.bfloat16, device_map="auto")input_text = "Take a selfie for me with front camera"nexa_query = f"Below is the query from the users, please call the correct function and generate the parameters to call the function.\n\nQuery: {input_text} \n\nResponse:"start_time = time.time () print ("nexa model result:\n", inference (nexa_query)) print ("latency:", time.time () - start_time,"s")评估
Octopus-V2-2B 在基准测试中表现出卓越的推理速度，在单个 A100 GPU 上比「Llama7B + RAG 解决方案」快 36 倍。此外，与依赖集群 A100/H100 GPU 的 GPT-4-turbo 相比，Octopus-V2-2B 速度提高了 168%。这种效率突破归功于 Octopus-V2-2B 的函数性 token 设计。
Octopus-V2-2B 不仅在速度上表现出色，在准确率上也表现出色，在函数调用准确率上超越「Llama7B + RAG 方案」31%。Octopus-V2-2B 实现了与 GPT-4 和 RAG + GPT-3.5 相当的函数调用准确率。
感兴趣的读者可以阅读论文原文，了解更多研究内容。
这项由斯坦福大学计算机科学系主导的研究发表于2024年的人工智能顶级会议，论文详细探讨了如何让人工智能系统更精准地识别和理解人类的情绪状态。有兴趣深入了解的读者可以通过相关学术数据库检索到完整论文内容。需要说明的是，由于您没有提供具体的论文链接或详细内容，我将基于一个典型的"AI情绪识别"研究方向，
斯坦福大学与根特大学联合研究，采用离散扩散语言模型（DiffusionGemma-26B）替代传统自回归模型，实现放射报告任意位置“填空”生成。在三个医学视觉问答数据集上，扩散模型准确率优于或持平自回归模型，推理速度提升3.5至4.4倍，且能利用双向上下文填充缺失内容。
前瞻研判：未来十年，县域特色化经济的竞争，不再是资源的竞争，而是市场信任的竞争。谁能为消费者提供最确定的价值承诺，谁就能赢得市场。 2026年全国两会刚刚落幕，“十五五”规划进入开局之年。今年的政府工作报告中，“扎实推进乡村全面振兴”被摆在突出位置，明确提出要“壮大县域富民产业，做好土特产文章”。这
2026 ISLE展前瞻：南昌光电产业集群即将重磅亮相 明年三月，深圳国际会展中心将迎来一场行业盛事。2026年3月5日至7日，ISLE国际智慧显示及系统集成展将在这里拉开帷幕。而这一次，聚光灯将格外聚焦于一个区域——南昌光电产业集群。他们将以“光耀南昌，智链全球”为主题，携一支实力雄厚的“集团军”
天龙三号海上试车成功：看中国商业航天如何将“安全”铸为核心竞争力 9月15日，山东海阳东方航天港，巨大的轰鸣声撕裂长空，炽热的白色蒸汽升腾而起。北京天兵科技自主研制的天龙三号大型液体运载火箭，在这里的海上平台成功完成了一级动力系统试车。 这次试车可不简单——它是世界首次海上动力系统试车试验。结果让人
3月18日，通用技术集团机床产业生态合作伙伴大会在北京国家会议中心举行 春日的北京，一场关乎中国工业未来的盛会拉开帷幕。通用技术集团机床产业生态合作伙伴大会在国家会议中心举行，近500位产业链上下游的企业代表与行业专家齐聚一堂。会上，通用技术集团总工程师、机床公司董事长周舟发布了集团机床产业的未来发
华为鸿蒙电脑技术与生态沟通会隆重举行，首款鸿蒙电脑惊艳登场，这一标志性事件预示着华为在电脑领域迈出了具有深远影响的关键一步，为国产电脑产业带来了全新的革新与发展契机。鸿蒙电脑的推出并非一朝一夕之功，而是华为经过五年精心策划的结果。在此期间，华为汇聚了超过10000名顶尖工程师，与20多家专业研究所紧密合作，投入大量的精力与资源进行技术研发，最终积累了超过2700项核心专利，彰显了其强大的技术实力与创新能力。新推出的HarmonyOS5采用鸿蒙内核，从操作系统底层开始重构，旨在为用户提供全面升级的办公体验
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com赵伟翔是哈尔滨工业大学社会计算与信息检索研究中心2021级直博生，导师为赵妍妍教授和秦兵教授。主要研究方向为对话系统、大语言模型对齐等。他曾以第一作者在ACL、AAAI、IJCAI、CO
用来运行Llama3405B优势明显。最近，Meta开源了最新的405B模型（Llama3.1405B），把开源模型的性能拉到了新高度。由于模型参数量很大，很多开发者都关心一个问题：怎么提高模型的推理速度？时隔才两天，LMSYSOrg团队就出手了，推出了全新的SGLangRuntimev0.2。这是一个用于LLM和VLM的通用服务引擎。在运行Llama3.1405B时，它的吞吐量和延迟表现都优于vLLM和TensorRT-LLM。在某些情况下（运行Llama系列模型），它的吞吐量甚至能达到TensorRT
机器之能报道编辑：杨文AI被人类带坏！这个世界，太癫了……最近，社交媒体上冒出来一堆搞怪视频，打着AI的旗号，真人cosAI，甚至抖音还专门出了个热门话题——人类模仿AI大赛。（视频来自抖音博主「关妮乱石」）视频链接：https://mp.weixin.qq.com/s/1DVc8skecSsO0a9QcklZlw套路都一个样儿：左边一张旧照片，右边打着「AI修复」的字幕，实际由真人演绎着脑干缺失的狗血「剧情」。-1-AI：第一次被人冒充，没想到比我还抽
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
