当前位置:

首页 > 硬件相关 > OpenAI挑战AI评测基准SWE-Bench Pro:约30%存在评测缺陷

OpenAI挑战AI评测基准SWE-Bench Pro:约30%存在评测缺陷

OpenAI指出,其SWE-BenchPro基准中约三成的任务存在缺陷,包括测试条件过于严苛、提示信息不充分等。例如,题面要求行首加一个空格,但隐藏测试却要求两个空格。OpenAI已撤回采用该基准的建议,并呼吁为人工智能设计新的评估基准。

本文目录

    OpenAI昨天(7月8日)发布博文,直接对行业权威评测基准SWE-Bench Pro开火——在731个公开测试任务中,大约30%存在评测缺陷。这可不是小事,毕竟SWE-Bench Pro由Scale AI推出,专门衡量大语言模型和AI智能体的编程能力,高度贴近真实企业级开发,防作弊标准也极高,早已成为软件工程领域的“裁判员”。连裁判都被质疑,行业自然炸开了锅。

    数据最能说明问题:前沿模型在8个月内,通过率从23.3%一路飙升至80.3%。进步当然可喜,但OpenAI认为,这个基准已经失效——它再也无法有效评估模型的软件开发能力了。


    OpenAI详细拆解了审查流程:第一路是数据点分析,标记出200个失效任务,占全部731个公开任务的27.4%;第二路是并行的人工标注,识别出249个失效任务,占比34.1%。两条路径交叉验证后,估测大约30%的任务存在缺陷。

    具体问题被梳理为四大类:

    测试过于严苛——把题面根本没写明的实现方式也列为硬性要求;提示不充分——隐藏测试要求一些无法从题面合理推断出来的细节;测试范围过窄——不完整的修复也能轻松通过;提示具有误导性——指向与测试要求完全不一致的行为。

    有一个典型例子特别说明问题:题面要求把内容转成Markdown时,行首只加1个空格,但隐藏测试却要求2个空格。模型按说明老老实实写代码,结果被判错。这种“标准不对齐”的坑,别说AI,资深开发者碰上也得抓狂。


    基于这次分析,OpenAI直接撤回此前对SWE-Bench Pro的采用建议,并表态:后续需要由资深软件开发者专门为AI评测设计新的基准。毕竟,裁判都不靠谱,比赛结果还有什么意义?

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    硬件相关 OpenAI
    相关文章 更多
    OpenAI Agents SDK v0.24.0-alpha.8升级前为何要备份状态?
    OpenAI Agents SDK v0.24.0-alpha.8升级前为何要备份状态?

    OpenAI Agents SDK v0.24.0-alpha.8预览版新增执行前审批、自有模型客户端、Realtime与预算检查点恢复,说明alpha.7回退、Linux运行及工具认证边界。

    OpenAI部分美国企业Mastercard历史拒付已恢复,卡片范围和充值影响有哪些条件
    OpenAI部分美国企业Mastercard历史拒付已恢复,卡片范围和充值影响有哪些条件

    复核OpenAI部分美国企业Mastercard支付事件的恢复状态、卡号前缀范围及UTC和北京时间,区分充值失败、预付余额耗尽与API请求影响,不将恢复等同于历史订单自动完成。

    OpenAI与Upwork发现AI项目预算更大,为什么要同时看时薪、工时和项目范围
    OpenAI与Upwork发现AI项目预算更大,为什么要同时看时薪、工时和项目范围

    解释OpenAI与Upwork自由职业研究中固定预算、时薪和90天工时的不同统计口径,区分52.4%预算差异、任务多样性与描述性关联,避免收入和就业因果误读。

    OpenAI Agents SDK JS 0.22.0:迁移类型与保存状态,修复待审批压缩和实时中断
    OpenAI Agents SDK JS 0.22.0:迁移类型与保存状态,修复待审批压缩和实时中断

    OpenAI Agents SDK JS 0.22.0调整usage、Realtime图像、MCP描述与保存状态类型,并修复待审批期间的自动压缩及早期实时中断。升级时要同时验证TypeScript检查、旧状态恢复和工具审批链路。

    OpenAI公布Daybreak Red Team与Defense Factory:验证漏洞并生成待审补丁
    OpenAI公布Daybreak Red Team与Defense Factory:验证漏洞并生成待审补丁

    OpenAI在Cyber at the Frontier相关入口公布Daybreak Red Team与Defense Factory,分别面向Web应用漏洞验证和待审补丁制作。Red Team为early access,Defense Factory官方文档标注Preview;本文说明两者分工、访问条件与工程师复核边界。

    OpenAI多语言SDK更新:Responses新增推理输入移除元数据
    OpenAI多语言SDK更新:Responses新增推理输入移除元数据

    OpenAI Python 3.50.0等五种语言SDK新增Responses推理输入变换相关类型。已核实字段input_transformations记录未交给模型的推理输入及移除原因,不是请求改写开关;本文列出语言版本、字段含义和多轮应用升级核对方法。

    OpenAI 登录、注册与部分功能故障已恢复:核对受影响时间与请求
    OpenAI 登录、注册与部分功能故障已恢复:核对受影响时间与请求

    OpenAI已于北京时间11月12日04:52:40确认登录、注册与部分ChatGPT功能事件恢复,调查范围也曾包括通过OpenAI API创建会话的错误率。该事件已恢复,用户应核对失败操作与实际结果,不能推断所有API都曾不可用。

    OpenAI 图像 API 错误率升高已恢复:涉及 GPT image 2.5 与 2.6
    OpenAI 图像 API 错误率升高已恢复:涉及 GPT image 2.5 与 2.6

    OpenAI已于北京时间11月12日17:25:12确认图像API错误率升高事件解决,事件先涉及GPT image 2.5 Sunburst与Flare,随后扩展到2.6对应变体。开发者应检查失败请求,避免把恢复确认误解为生成结果自动补回或计费政策变化。

    OpenAI Workspace Agent 新运行故障已恢复:影响范围与后续检查
    OpenAI Workspace Agent 新运行故障已恢复:影响范围与后续检查

    OpenAI 已确认Workspace Agent新运行故障恢复,官方于北京时间11月12日16:32:37将事件标记为已解决。此事件范围是新运行,恢复确认不代表失败任务自动补跑;用户应检查自己的运行记录与业务结果。

    sora使用指南国内使用的具体操作步骤教程
    sora使用指南国内使用的具体操作步骤教程

    本文详细解析Sora在国内的使用现状,指出目前官方未对公众开放注册,提醒用户警惕虚假链接,并提供关注官方动态及替代方案的实用建议。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。