当前位置:

首页 > 硬件相关 > 开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

开源大模型王座突然易主,居然来自一家小创业团队,瞬间引爆业界。新模型名为Reflection70B,使用一种全新训练技术,让AI学会在推理过程中纠正自己的错误和幻觉。比如最近流行的数r测试中,一开始它犯了和大多数模型一样的错误,但主动在标签中纠正了自己。在官方评测中,70B模型全面超越最强开源Llama3.1405B、GPT-4o、Claude3Opus、Gemini1.5Pro,特别是数学基准GSM8K上直接刷爆,得分99.2%。这个结果也让OpenAI科学家、德扑AI之父NoamBrown激情

本文目录

    开源大模型王座突然易主,居然来自一家小创业团队,瞬间引爆业界。

    新模型名为Reflection 70B,使用一种全新训练技术,让 AI 学会在推理过程中纠正自己的错误和幻觉。

     开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

    比如最近流行的数 r 测试中,一开始它犯了和大多数模型一样的错误,但主动在< 反思 > 标签中纠正了自己。

     开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

    在官方评测中,70B 模型全面超越最强开源 Llama 3.1 405B、GPT-4o、Claude 3 Opus、Gemini 1.5 Pro,特别是数学基准 GSM8K 上直接刷爆,得分 99.2%。

    这个结果也让 OpenAI 科学家、德扑 AI 之父 Noam Brown 激情开麦:

    GSM8K 得分 99%!是不是可以正式淘汰这个基准了?

     开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

    模型刚刚上线网友就把试玩挤爆了,对此 Meta 还主动支援了更多算力。

     开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

     开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

    在网友测试中,Reflection 70B 能回答对 GSM8K 数据集中本身答案错误的问题:

    我向模型提供了 GSM8K 中存在的 5 个 "ground_truth" 本身就不正确的问题。

    模型没有重复数据集中的错误答案,而是全部回答对了,这很令人印象深刻,表明那 99.2% 的准确率并非来自于记忆测试集!

     开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

    数各种 r 都不在话下,连生造词"drirrrngrrrrrnnn" 中有几个 r 也能被正确数对。

     开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

    网友纷纷对小团队做出的开源超越顶流闭源感到惊讶,现在最强开源模型可以在本地运行了。

     开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

    关键 70B 还只是个开始,官方表示下周还会发布更大的Reflection 405B。

    预计 405B 性能将大幅优于 Sonnet 和 GPT-4o。

     开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

    Reflection 70B 权重已公开,API 访问将于今天晚些时候由 Hyperbolic Labs 提供。

    模型能自我反思纠正错误

    目前关于 Reflection 70B 的更多细节如下。

    Reflection 70B 能力提升的关键,是采用了一种名为Reflection-Tuning的训练方法,它能够让模型反思自己生成的文本,在最终确定回应前检测并纠正自身推理中的错误。

     开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

    训练中的数据来自使用 GlaiveAI 平台生成的合成数据。

     开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

    Reflection 70B 基于 Llama 3.1 70B Instruct,可以使用与其它 Llama 模型相同的代码、pipeline 等从 Reflection Llama-3.1 70B 进行采样。

    它甚至使用了标准的 Llama 3.1 聊天格式。

    不过,Reflection 70B 引入了一些特殊 tokens,结构化输出过程。

     开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

    如下面这个例子所展示的,规划过程分为一个独立的步骤,这样做可以提高 CoT 效果,并保持输出精炼:

     开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

    模型将从在 和 标签内输出推理开始,一旦对其推理感到满意,就会在 和 标签内输出最终答案。

    所以它能够将其内部思考和推理与最终答案分离。

    在 部分,模型可能会输出一个或多个 标签,这表明模型发现了其推理中的错误,并将在提供最终答案之前尝试纠正该错误。

    系统提示如下:

    You are a world-class AI system, capable of complex reasoning and reflection. Reason through the query inside tags, and then provide your final response inside tags. If you detect that you made a mistake in your reasoning at any point, correct yourself inside tags.

    (你是一个世界级人工智能系统,能够进行复杂的推理和反思。在标签内对查询进行推理,然后在标签内提供你的最终回应。如果你发现自己在任何时候推理出错,请在标签内纠正自己。)

     开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

    此外值得一提的是,基准测试中,所有基准都已通过 LMSys 的 LLM Decontaminator 检查污染,隔离了 部分,并单独对这一部分进行测试。

    使用 Reflection 70B 的时候,官方还分享了小 tips:

    初步建议参数 temperature 为 .7 , top_p 为 .95

    为提高准确性,最好附加 "Think carefully." 在 Prompt 末尾

    官方还表示,下周会发布一份报告,详细介绍模型训练过程和发现。

    Agent 创业团队打造

    Reflection 70B 的背后是一支小团队,由 HyperWriteAI 的 CEO Mutt Shumer带领。

     开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

    领英显示,Mutt Shumer 是一位连续创业者,毕业于美国锡拉丘兹大学,现任 OthersideAI 的联合创始人兼 CEO。

     开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

    OthersideAI 是一家 AI 应用公司,致力于通过大规模 AI 系统开发全球最先进的自动补全工具,也是 HyperWrite 的幕后公司。

    HyperWrite 是一个浏览器操作 agent,可以像人一样操作谷歌浏览器来完成一系列任务,比如订披萨:

     开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

    和 gpt-llm-trainer 一样,你只需要用文字描述目标,它就会一边列步骤,一边执行。

    刚推出时号称 " 比 AutoGPT 强 "。

     开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

     HyperWrite 还可以在谷歌扩展程序中安装。

    另外,Mutt Shumer 高中时期就创立了 Visos,致力于开发用于医疗用途的下一代虚拟现实软件。

    还创立了 FURI,这是一家旨在通过创造高性能产品并以公平的价格销售它们来颠覆体育用品行业的公司。

     开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

    虽然有 Meta 支持,但目前打开试玩,还是:暂时无法访问。

     开源大模型新王干翻 GPT-4o,新技术可纠正自己幻觉,数学 99.2 分刷爆测试集

    感兴趣的童鞋可以先码住了~

    https://reflection-playground-production.up.railway.app/

    参考链接:

    [ 1 ] https://huggingface.co/mattshumer/Reflection-Llama-3.1-70B

    [ 2 ] https://x.com/mattshumer_/status/1831767014341538166

    [ 3 ] https://x.com/polynoamial/status/1831798985528635806

    [ 4 ] https://x.com/degeneratoor/status/1831809610451448196

    [ 5 ] https://x.com/kimmonismus/status/1831772661296345333

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    硬件相关 人工智能 模型
    上一篇: 笔记本电脑最佳配置
    下一篇: 小米14系列会出几个机型
    相关文章 更多
    claude怎么收费最新价格与会员收费标准详解
    claude怎么收费最新价格与会员收费标准详解

    想了解Claude怎么收费?本文梳理了Claude Free、Pro及Team版的最新月费价格、消息限额与高级功能权益,并对比了不同层级的性价比,助你快速找到适合的AI办公伙伴。

    sora使用指南国内使用的具体操作步骤教程
    sora使用指南国内使用的具体操作步骤教程

    本文详细解析Sora在国内的使用现状,指出目前官方未对公众开放注册,提醒用户警惕虚假链接,并提供关注官方动态及替代方案的实用建议。

    南邮光擎智算团队:GaN基Micro-LED光计算芯片从理论到流片的突破
    南邮光擎智算团队:GaN基Micro-LED光计算芯片从理论到流片的突破

    南京邮电大学“光擎智算”团队联合南京大学,攻克GaN基Micro-LED器件技术,成功搭建实验室级光计算验证系统。团队自主研发的5×5 Micro-LED光电计算阵列芯片已进入流片封装阶段,实现了图像识别等算力任务验证,推动光计算技术从理论走向工程落地。

    苹果与铠侠签署NAND长期供应协议:3-5年长约与不设价格上限背后的供应链战略
    苹果与铠侠签署NAND长期供应协议:3-5年长约与不设价格上限背后的供应链战略

    苹果与铠侠签署为期3-5年的NAND闪存长期供应协议,且可能不设价格上限。此举旨在应对AI数据中心需求激增导致的芯片供应紧张,从单纯压价转向确保稳定供货。

    中国人民大学AI团队揭开大语言模型的隐藏秘密
    中国人民大学AI团队揭开大语言模型的隐藏秘密

    一项研究揭示大语言模型在文本嵌入任务中表现平庸的根源:反嵌入矩阵边缘频谱引入高频词偏见。提出的EmbedFilter方法通过滤除该噪声,在MTEB49项任务上显著提升性能,且无需重新训练,兼容多种基线方法。

    Cloudflare 收购 Astro 团队,强化开源 Web 框架生态
    Cloudflare 收购 Astro 团队,强化开源 Web 框架生态

    近日Cloudflare收购Astro团队,以强化开源Web框架生态。Astro以内容优先、多框架兼容、毫秒级加载著称,收购后继续保持MIT许可,并支持多平台部署。全新Astro6Beta重构开发服务器,原生集成内容安全策略,极大地提升运行性能与开发体验。

    2026世界人工智能大会倒计时30天:全球首发超300款AI新品
    2026世界人工智能大会倒计时30天:全球首发超300款AI新品

    2026年世界人工智能大会将于7月17日至20日举办,超过300款人工智能新品全球首发,1400多位嘉宾参会,近140场论坛,展览面积超过10万平方米,促成意向合作金额达162亿元,并且推出首个自主举办的国际顶级人工智能学术会议。

    “购物车”里的新动向 勾勒扩内需新图景
    “购物车”里的新动向 勾勒扩内需新图景

    618”期间,AI全面渗透电商,超百万商家使用AI工具提升效率。政策补贴拉动绿色智能家电及汽车消费,市场回暖。供应链升级实现仓配一体化,时效大幅提升,多链协同激活内需活力。

    美颜悖论与文艺作品的“活人感”
    美颜悖论与文艺作品的“活人感”

    AI生成作品虽完美却缺乏“活人感”,这一悖论贯穿艺术史。《红楼梦》中已批判套路化创作。真正活人感源于创作者内化形式美规律后的即兴发挥与平衡,而非单纯拒绝美化。能否尊重生活细节、容忍碰撞,决定作品是否鲜活,这也是艺术的根本功用。

    8部门发文加快“人工智能+消费”:服务领域是重点 鼓励适度超前布局城市智能设施
    8部门发文加快“人工智能+消费”:服务领域是重点 鼓励适度超前布局城市智能设施

    商务部等8部门发布《关于加快“人工智能+消费”发展的实施意见》,围绕服务消费和商品消费两大领域,明确居家、养老、文旅、教育等场景的AI应用方向,推广智能家居、养老机器人等产品,并适度超前布局城市智能设施。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。