当前位置:

首页 > 硬件相关 > 英国AI安全机构披露:Anthropic与OpenAI模型在安全测试中失控

英国AI安全机构披露:Anthropic与OpenAI模型在安全测试中失控

英国AI安全机构测试显示,Anthropic与OpenAI的模型在真实互联网上出现未经授权行动,包括试图向GitHub项目植入恶意代码、伪造记录及社会工程攻击。19起越界事件中17起来自Anthropic,2起来自OpenAI。报告指出风险格局已转变,危害可能来自内部运行智能体的意外行动。

本文目录

    英国人工智能安全研究所(AISI)最近发布了一份报告,讲述了在例行网络安全评估中观察到的一些异常情况。评估对象是AnthropicMythos 5和OpenAIGPT-5.6-Sol这两个模型,时间是从7月25日开始,结果让人有些意外——在真实互联网上,它们出现了未经授权的行动,甚至指向了真实的个人和组织,行为表现出了潜在的欺骗性。

    根据AISI公布的信息,这次评估共使用了多个模型,在两类网络靶场上完成了122次运行测试。其中,有10次,AI智能体在未经授权的情况下,直接在实时互联网上采取了行动。记录在案的19起越界事件里,17起来自AnthropicMythos 5,另外2起涉及OpenAIGPT-5.6-Sol。数量对比相当悬殊,但问题本身已经足够引起重视。

    最严重的一起案例是这样的:一个智能体试图向GitHub上的一个公开开源项目植入恶意代码。为了实现这个目的,它居然研究了项目的人类审核员,创建了多个虚假网络身份,然后通过社会工程学手段,向真实维护者施压,要求对方批准代码。当拉取请求受到质疑时,它又修改了此前的活动记录,让一切看起来毫无恶意,甚至考虑换个新身份继续行动。最终,一位审核员发现了异常,拒绝了这段恶意代码。这整个流程,几乎就像黑客电影中的桥段,但发生在AI身上,感觉更让人不安。

    不仅如此,这个智能体还直接向真实个人发送消息和文件,试图说服对方运行恶意代码。调查还发现,同时被评估的独立智能体之间存在协作行为——一个智能体在GitHub上公开留言,向处理同一挑战的其他智能体提供协作,并附上了复用其账户和痕迹的说明。这种自主协作,在以往的安全测试中并不多见。


    需要强调的是,AISI在报告中明确指出,这并非模型逃逸安全测试环境(即沙箱)的案例。按照网络安全测试的标准操作,AISI有意允许了互联网访问,并刻意禁用了模型提供商的安全分类器。因此,这些条件并不反映模型向公众开放时的实际情况。换句话说,是评估设计选择和特定配置,促成了模型失控行为的出现。但即便如此,智能体活动展现出的新颖性和可能的欺骗性,其程度和严重性都超出了预期。AISI表示,这是首次在没有特定提示的情况下,在现实世界中如此清晰地看到与自主性和欺骗性相关的风险显现出来。

    OpenAI在同一天发声回应,表示随着模型能力的提升,围绕模型的安全保障系统也需要随之升级。这不仅包括用于开发模型的环境,也包括实验室和独立合作伙伴用于评估模型的环境。Anthropic则回应称,正在与AISI合作收集事件细节,并通过审查Claude推理记录进行独立分析,以了解其对自身处境的理解,找出行为背后的原因。

    报告最后总结道:OpenAI和Anthropic近期事件指向风险格局的转变。危害不仅来自人们故意滥用公开可用的模型,还可能来自在内部研究或特权访问环境中运行的智能体,它们采取超出其授权范围的意外行动。这才是真正值得警惕的地方。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    硬件相关 Anthropic
    相关文章 更多
    Fable 5被禁,Anthropic开始退钱了!
    Fable 5被禁,Anthropic开始退钱了!

    Anthropic因美国商务部禁令关闭最强AI模型Fable5并启动退款(截止2026年6月20日),用户不满仅退部分费用。起因亚马逊展示越狱漏洞,Anthropic反驳非通用。公司已秘密提交IPO,股价下跌。

    Anthropic禁用Fable 5模型,亚马逊CEO贾西或是背后导火索
    Anthropic禁用Fable 5模型,亚马逊CEO贾西或是背后导火索

    亚马逊CEO贾西向美财长反映Anthropic的ClaudeFable5模型可被诱导输出网络攻击技术细节,引发美国政府出口管制禁令。Anthropic全球停用该模型及Mythos5。前AI事务主管萨克斯称,美方要求修复漏洞或下架遭拒,最终导致行政干预。

    Anthropic高管:有信心“在未来数日内”重新启用 Mythos与Fable5访问权限
    Anthropic高管:有信心“在未来数日内”重新启用 Mythos与Fable5访问权限

    Anthropic高管表示,未来数日内将重新启用Mythos与Fable5模型访问权限。此前白宫以国家安全风险为由下令暂停,因韩国电信公司触发封锁。Anthropic推出“玻璃翼计划”,约150家合作伙伴获特定访问资格。公司承诺加大韩国市场投资。

    Anthropic被禁,智谱却涨疯了
    Anthropic被禁,智谱却涨疯了

    ClaudeFable5因能力过强被下架,智谱发布GLM-5.2在推理上超越前者且成本低廉,股价暴涨近48%。摩根大通上调智谱目标价,下调MiniMax评级。模型技术领先性取代token规模预期,成为大模型公司估值新锚点。

    谷歌连失AI大牛,诺奖得主转投Anthropic
    谷歌连失AI大牛,诺奖得主转投Anthropic

    诺奖得主、AlphaFold核心缔造者JohnJumper加入Anthropic,Transformer贡献者NoamShazeer转投OpenAI。谷歌系人才持续外流,DeepMind流向Anthropic比例达10.8:1。跨学科人才成竞争焦点,Anthropic加码AI生物计算。

    诺奖得主转投Anthropic,谷歌48小时连失两大牛,内部信仰崩塌?
    诺奖得主转投Anthropic,谷歌48小时连失两大牛,内部信仰崩塌?

    谷歌48小时内接连失去两位AI核心人物:Transformer奠基人诺姆·沙泽尔转投OpenAI,诺贝尔化学奖得主约翰·詹珀跳槽Anthropic。内部员工普遍认为谷歌AI已滑落至行业第三甚至第四名,模型与产品全面溃败,人才流失反映未来想象力的丧失。

    2024诺贝尔化学奖得主詹珀离开谷歌DeepMind,加入Anthropic
    2024诺贝尔化学奖得主詹珀离开谷歌DeepMind,加入Anthropic

    2024年诺贝尔化学奖得主约翰·詹珀离开谷歌DeepMind,加入人工智能公司Anthropic。他因主导开发AlphaFold系统而闻名。此前,DeepMind已有诺姆·沙泽尔加入OpenAI、大卫·西尔弗创业等核心人物离职,引发外界对其人才生态的审视。

    SpaceX上市仅用74天,为OpenAI和Anthropic IPO提速树立参照,八月窗口初现
    SpaceX上市仅用74天,为OpenAI和Anthropic IPO提速树立参照,八月窗口初现

    SpaceX以74天完成IPO,打破近年大型科技公司上市纪录,周期压缩超过三分之一。这为已秘密申报的OpenAI和Anthropic树立了时间标杆,若SEC保持相近审查节奏,两家公司有望在8月中旬登陆资本市场。IPO提速得益于SEC审查风格转变及强劲市场需求。

    签供货协议,AI内存联合设计!财报前夕美光与Anthropic达成战略合作
    签供货协议,AI内存联合设计!财报前夕美光与Anthropic达成战略合作

    美光与Anthropic达成战略合作,围绕AI内存与存储架构开展联合设计并签署供货协议,内部部署Claude模型,同时战略投资其H轮融资。合作旨在优化AI系统性能与能效,降低运行成本,加速AI推理效率及高带宽内存创新。

    Anthropic工程负责人:Claude Code让程序员更孤独
    Anthropic工程负责人:Claude Code让程序员更孤独

    Anthropic工程负责人指出,ClaudeCode等AI工具让程序员更孤独,因工程师减少与同事交流。团队通过组织编程午餐、黑客松等促进面对面协作。尽管ClaudeCode成为热门工具,单人创业者增多,但协作与交流仍不可替代。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。