当前位置:

首页 > 硬件相关 > 蚂蚁集团开源两款AI安全模型 覆盖智能体与多模态安全场景

蚂蚁集团开源两款AI安全模型 覆盖智能体与多模态安全场景

本文目录

    蚂蚁集团开源两款AI安全模型:SingGuard-NSFA为智能体提供行为安全防护,覆盖185种风险场景;SingGuard针对多模态交互内容安全,实现文本、图片统一检测。两者在多项评测中领先,已应用于实际业务。

    7月13日,蚂蚁AI安全实验室放了个大招——正式开源了智能体安全护栏SingGuard-NSFA,同时披露了多模态安全护栏SingGuard的详细信息。这两款模型分别瞄准了“自主执行的智能体”和“多模态交互的大模型”这两个前沿场景,可以说是AI安全领域的一次重要布局。

    SingGuard-NSFA:给智能体装上“行为安全带”

    AI智能体已经不再满足于陪你聊天、回答问题,而是真的开始“动手做事”了——调用工具、执行代码、编排多步任务,一个比一个能折腾。但问题也随之而来:安全风险不再只是内容层面的问题,而是更多地体现在行为层面。提示词注入、敏感信息窃取、恶意代码执行、资源耗尽、权限滥用……这些风险,传统的内容审核体系根本覆盖不过来。

    针对这个痛点,蚂蚁AI安全实验室推出了SingGuard-NSFA。它的核心思路是在智能体动手执行动作之前,先完成实时安全检测,从请求拦截和响应兜底两头入手,构建一个完整的行为安全防护体系。

    具体来说,SingGuard-NSFA基于CIA(保密性、完整性、可用性)原则,并参考了OWASP等国际安全指南,将智能体风险细分为7大类、28个中类和185个具体场景。为了支撑这套体系,团队还建立了一个覆盖133种语言、近10万条样本的智能体安全评测库——数据量相当扎实。

    技术实现上,SingGuard-NSFA兼顾了安全审计和实时防护两种需求。它提供了两种工作模式:一种可以逐条生成详细的风险分析报告,方便事后审查和合规记录;另一种则能在50毫秒左右完成单次风险判定,非常适合线上高并发场景下的实时拦截。而且,它提供了0.8B、2B、4B、9B四种模型规模,不同部署需求都能找到合适的版本。

    多项公开评测显示,SingGuard-NSFA在智能体输入、输出安全检测中均取得了领先表现。值得注意的是,它的0.8B模型就能达到8B模型的性能水平。更关键的是,新增风险类别时只需要训练轻量模块,不必重新训练整个模型,这对接下来的持续迭代和升级非常有价值。

    SingGuard:多模态场景下的内容安全新防线

    与智能体操作安全并行的另一条防线,是多模态交互场景下的内容安全。今年6月,Anthropic发布的旗舰模型Claude Fable 5,在发布后数日内就被研究者用Unicode字符和西里尔字母替换敏感词的方式绕过了安全护栏——模型能还原原意,但分类器却视其为陌生拼写,结果系统提示词就被套出来了。这个案例说明,模型越能读懂变形文字、图片和跨模态信息,传统关键词识别式的护栏就越显得力不从心。

    SingGuard正是为此设计的多模态安全护栏。它针对文本、图片及跨模态内容建立了一个统一的安全判断框架,能够识别攻击者将恶意动作隐藏在文字、图片等不同模态中的复杂攻击。同时,它支持运行时动态加载自然语言安全规则,无需重新训练模型即可完成规则更新,这一点对于规则持续演进、业务流量较大的生产环境来说非常实用。

    在推理机制上,SingGuard采用了“快慢结合”的模式:先快速完成初步判断,只有面对复杂场景时才启动进一步推理。这种设计在保证效率的同时,也提升了检测准确率。

    在覆盖文本查询、文本回复、图像、多模态和多语言的6大类评测中,SingGuard在35个数据集及评测切分上的平均F1均为最高。对比对象涵盖了Llama Guard 3、谷歌ShieldGemma、GPT-5、Gemini3-Pro等行业内最具代表性的主流护栏,SingGuard均实现了全面领先——这个成绩相当有说服力。

    中国信通院人工智能研究所安全治理部副主任呼娜英表示,随着大模型从内容生成迈向自主执行,AI安全正从内容审核延伸至行为管控和系统治理,成为智能体规模化应用的重要基础能力。事实上,蚂蚁AI安全实验室已经针对开源智能体框架OpenClaw开展了专项安全审计,并于今年4月联合清华大学开源了智能体安全防御插件ClawAegis,为自主智能体提供覆盖全生命周期的安全防护能力。此次SingGuard-NSFA与SingGuard多模态安全护栏相继开源,是蚂蚁集团持续推进AI安全技术研发和开放生态建设的重要实践。

    这些安全技术的研发与开源,并非凭空而来。它们建立在蚂蚁集团二十余年的安全技术积累之上——支付安全、数据安全、隐私保护、风险治理……这些领域的长期实践,为蚂蚁持续完善AI安全体系提供了坚实的基础。目前,相关能力已经应用于蚂蚁阿福、AI版支付宝“阿宝”、支付宝“AI付”等业务场景,从实验室走向了真实的生产环境。

    本文内容来源于网友投稿,如有侵权请联系删除。
    作者最新文章
    硬件相关
    相关文章 更多
    笔记本加内存条后无法开机怎么办及解决方法
    笔记本加内存条后无法开机怎么办及解决方法

    笔记本加装新内存后遇到黑屏或无法开机?不要慌张,本文通过重新插拔、清洁金手指、单根测试等具体操作步骤,帮你快速判断是安装失误还是硬件不兼容,并给出相应解决办法。

    电脑主机前置usb不能用怎么解决排查修复教程
    电脑主机前置usb不能用怎么解决排查修复教程

    针对电脑主机前置USB接口无法识别设备的问题,本文提供一套基于因果逻辑的排查流程。涵盖检查机箱内部USB针脚连接、验证BIOS中USB控制器状态、更新芯片组驱动以及排除供电不足等常见原因,帮助用户快速恢复接口功能。

    无线鼠标充不进电解决办法及故障排查步骤
    无线鼠标充不进电解决办法及故障排查步骤

    遇到无线鼠标充不进电的问题,不要急于更换设备。本文详解从清理接口氧化层、更换数据线到检测电池电压的完整排查流程,帮助你判断是临时故障还是硬件损坏。

    蓝牙游戏手柄连接教程吃鸡
    蓝牙游戏手柄连接教程吃鸡

    想知道如何用蓝牙手柄玩吃鸡游戏?本文详细讲解手机蓝牙手柄的连接步骤、主流映射软件的使用方法以及实战中的键位布局技巧,助你提升射击手感,同时解析外设玩家的匹配机制与注意事项。

    游戏手柄蓝牙连接为何每次都要重连原因排查与解决方法
    游戏手柄蓝牙连接为何每次都要重连原因排查与解决方法

    本文深入分析游戏手柄蓝牙频繁断开且需重连的根本原因,涵盖电池电压检测、操作系统电源管理策略及驱动冲突。通过具体的系统设置调整和固件更新步骤,解决蓝牙握手失败问题,恢复手柄的稳定连接状态。

    显示器画面模糊抖动怎么解决及排查方法教程
    显示器画面模糊抖动怎么解决及排查方法教程

    遇到显示器画面模糊或抖动时,可通过检查视频连接线、调整系统分辨率与刷新率、更新显卡驱动等步骤进行排查和修复。

    小米智能门锁换电池后怎么开机
    小米智能门锁换电池后怎么开机

    小米智能门锁更换新电池后无法开机或屏幕不亮?本文详解电池极性检查、金属触点清洁及强制重启方法,帮你快速解决供电问题,让门锁恢复正常使用。

    电视机声音怎么连接到外置音响
    电视机声音怎么连接到外置音响

    想让电视声音更震撼?本文详解如何通过HDMI ARC、光纤、蓝牙和3.5mm接口将电视连接至外置音响,包含具体设置步骤与常见问题排查,助你轻松打造家庭影院。

    打印机加墨水后打印不出颜色的原因及解决方法
    打印机加墨水后打印不出颜色的原因及解决方法

    解决打印机加墨水后打印无色的问题,涵盖墨盒芯片计数器重置、喷头气锁排除方法以及驱动程序颜色设置检查,帮助用户快速恢复彩色打印功能。

    显示器无信号但主机正常工作原因排查与解决方法
    显示器无信号但主机正常工作原因排查与解决方法

    面对主机运转正常但显示器无信号的困境,本文通过场景化分析,指导用户从线缆检查、输入源切换、内存金手指清洁到显卡重新插拔,逐步排除故障,恢复显示。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    macOS软件
    macOS软件

    正软商城macOS软件专区,精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具,提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

    Mac软件 更多
    Blender
    Blender
    Windows、macOS 和 Linux

    Blender 是一款免费开源、跨平台的专业 3D 创作软件,集建模、动画、渲染、视频编辑与视觉合成等功能于一体,广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎,并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统,安装包轻巧、运行流畅,依托活跃的全球开发者社区持续更新,是从初学者到专业创作者都值得选择的正版 3D 创作工具。

    灵活计算器
    灵活计算器
    macOS/iOS/Android

    灵活计算器是一款笔记式算数应用,支持实时计算、动态关联和云端同步功能。记录、整理和输出之间的过渡会更自然,适合长期写作、做笔记或持续沉淀个人内容。

    赤友清理大师
    赤友清理大师
    macOS

    赤友清理大师是一款为 Mac 设计的智能清理优化工具,可精准扫描垃圾、大文件、重复文件等,释放磁盘空间。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

    WINDOWS 更多
    Blender
    Blender
    Windows、macOS 和 Linux

    Blender 是一款免费开源、跨平台的专业 3D 创作软件,集建模、动画、渲染、视频编辑与视觉合成等功能于一体,广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎,并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统,安装包轻巧、运行流畅,依托活跃的全球开发者社区持续更新,是从初学者到专业创作者都值得选择的正版 3D 创作工具。

    Windows 10
    Windows 10
    Windows

    Windows 10 是一款微软推出的经典操作系统,拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起,适合需要持续观察和微调设备状态的场景。

    极度公式
    极度公式
    Windows/macOS/Linux

    极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。