当前位置:

首页 > 硬件相关 > 蚂蚁集团开源两款AI安全模型 覆盖智能体与多模态安全场景

蚂蚁集团开源两款AI安全模型 覆盖智能体与多模态安全场景

蚂蚁集团开源两款AI安全模型:SingGuard-NSFA为智能体提供行为安全防护,覆盖185种风险场景;SingGuard针对多模态交互内容安全,实现文本、图片统一检测。两者在多项评测中领先,已应用于实际业务。

本文目录

    7月13日,蚂蚁AI安全实验室放了个大招——正式开源了智能体安全护栏SingGuard-NSFA,同时披露了多模态安全护栏SingGuard的详细信息。这两款模型分别瞄准了“自主执行的智能体”和“多模态交互的大模型”这两个前沿场景,可以说是AI安全领域的一次重要布局。

    SingGuard-NSFA:给智能体装上“行为安全带”

    AI智能体已经不再满足于陪你聊天、回答问题,而是真的开始“动手做事”了——调用工具、执行代码、编排多步任务,一个比一个能折腾。但问题也随之而来:安全风险不再只是内容层面的问题,而是更多地体现在行为层面。提示词注入、敏感信息窃取、恶意代码执行、资源耗尽、权限滥用……这些风险,传统的内容审核体系根本覆盖不过来。

    针对这个痛点,蚂蚁AI安全实验室推出了SingGuard-NSFA。它的核心思路是在智能体动手执行动作之前,先完成实时安全检测,从请求拦截和响应兜底两头入手,构建一个完整的行为安全防护体系。

    具体来说,SingGuard-NSFA基于CIA(保密性、完整性、可用性)原则,并参考了OWASP等国际安全指南,将智能体风险细分为7大类、28个中类和185个具体场景。为了支撑这套体系,团队还建立了一个覆盖133种语言、近10万条样本的智能体安全评测库——数据量相当扎实。

    技术实现上,SingGuard-NSFA兼顾了安全审计和实时防护两种需求。它提供了两种工作模式:一种可以逐条生成详细的风险分析报告,方便事后审查和合规记录;另一种则能在50毫秒左右完成单次风险判定,非常适合线上高并发场景下的实时拦截。而且,它提供了0.8B、2B、4B、9B四种模型规模,不同部署需求都能找到合适的版本。

    多项公开评测显示,SingGuard-NSFA在智能体输入、输出安全检测中均取得了领先表现。值得注意的是,它的0.8B模型就能达到8B模型的性能水平。更关键的是,新增风险类别时只需要训练轻量模块,不必重新训练整个模型,这对接下来的持续迭代和升级非常有价值。

    SingGuard:多模态场景下的内容安全新防线

    与智能体操作安全并行的另一条防线,是多模态交互场景下的内容安全。今年6月,Anthropic发布的旗舰模型Claude Fable 5,在发布后数日内就被研究者用Unicode字符和西里尔字母替换敏感词的方式绕过了安全护栏——模型能还原原意,但分类器却视其为陌生拼写,结果系统提示词就被套出来了。这个案例说明,模型越能读懂变形文字、图片和跨模态信息,传统关键词识别式的护栏就越显得力不从心。

    SingGuard正是为此设计的多模态安全护栏。它针对文本、图片及跨模态内容建立了一个统一的安全判断框架,能够识别攻击者将恶意动作隐藏在文字、图片等不同模态中的复杂攻击。同时,它支持运行时动态加载自然语言安全规则,无需重新训练模型即可完成规则更新,这一点对于规则持续演进、业务流量较大的生产环境来说非常实用。

    在推理机制上,SingGuard采用了“快慢结合”的模式:先快速完成初步判断,只有面对复杂场景时才启动进一步推理。这种设计在保证效率的同时,也提升了检测准确率。

    在覆盖文本查询、文本回复、图像、多模态和多语言的6大类评测中,SingGuard在35个数据集及评测切分上的平均F1均为最高。对比对象涵盖了Llama Guard 3、谷歌ShieldGemma、GPT-5、Gemini3-Pro等行业内最具代表性的主流护栏,SingGuard均实现了全面领先——这个成绩相当有说服力。

    中国信通院人工智能研究所安全治理部副主任呼娜英表示,随着大模型从内容生成迈向自主执行,AI安全正从内容审核延伸至行为管控和系统治理,成为智能体规模化应用的重要基础能力。事实上,蚂蚁AI安全实验室已经针对开源智能体框架OpenClaw开展了专项安全审计,并于今年4月联合清华大学开源了智能体安全防御插件ClawAegis,为自主智能体提供覆盖全生命周期的安全防护能力。此次SingGuard-NSFA与SingGuard多模态安全护栏相继开源,是蚂蚁集团持续推进AI安全技术研发和开放生态建设的重要实践。

    这些安全技术的研发与开源,并非凭空而来。它们建立在蚂蚁集团二十余年的安全技术积累之上——支付安全、数据安全、隐私保护、风险治理……这些领域的长期实践,为蚂蚁持续完善AI安全体系提供了坚实的基础。目前,相关能力已经应用于蚂蚁阿福、AI版支付宝“阿宝”、支付宝“AI付”等业务场景,从实验室走向了真实的生产环境。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    硬件相关
    相关文章 更多
    蚂蚁集团联合高校研发的
    蚂蚁集团联合高校研发的"视觉猎手",让AI学会主动用眼睛搜索了

    蚂蚁集团联合高校研发的Visual-Seeker视觉原生多模态深度搜索智能体,通过三阶段数据流水线训练,使AI在搜索中主动获取并分析图片证据。在五项多模态搜索基准测试中平均正确率达39.6%,视觉取证任务超越GPT-5等大型商业模型。

    蚂蚁集团董事会换届:何小鹏等3人履新独董,治理阵容加码AI与全球化
    蚂蚁集团董事会换届:何小鹏等3人履新独董,治理阵容加码AI与全球化

    蚂蚁集团董事会换届,新增白重恩、何小鹏、曾顺福为独立董事,史美伦、张宏江留任,独立董事占比超50%。新阵容聚焦AI战略监督。AI产品用户破亿,AI付完成3亿笔,研发投入350.3亿元,推动通用人工智能等领域。

    蚂蚁集团董事会换届:何小鹏等3人履新独董
    蚂蚁集团董事会换届:何小鹏等3人履新独董

    蚂蚁集团董事会完成换届,白重恩、何小鹏、曾顺福新任独立董事,史美伦、张宏江留任。新一届董事会保持9人阵容,独立董事占比过半,治理结构更趋规范透明,彰显公司治理优化与国际接轨。

    Serverless给任务调度带来的变化及蚂蚁集团落地实践
    Serverless给任务调度带来的变化及蚂蚁集团落地实践

    Serverless Task 是蚂蚁集团在分布式调度和批处理中间件发展而来的解决方案。通过 ServiceMesh 的精细化引流能力,再利用研发框架的“服务分组”配置能力,将 Serverless Task 流量全部收敛在指定的“服务分组”集群内。结合定时任务本身具备的周期、可预测等特点,根据任务

    蚂蚁集团完成对薄荷健康战略投资 持股超28%成最大外部股东
    蚂蚁集团完成对薄荷健康战略投资 持股超28%成最大外部股东

    蚂蚁集团战略投资薄荷健康,持股超28%成最大外部股东。双方围绕体重管理高频场景,共同打造专业级AI健康服务。薄荷健康深耕近20年,服务2亿用户;蚂蚁阿福用户超1亿。减重是起点,正从医疗服务向健康管理延伸。

    拍饮食测卡路里!蚂蚁集团入股薄荷健康,阿里港股盘中飙涨9%
    拍饮食测卡路里!蚂蚁集团入股薄荷健康,阿里港股盘中飙涨9%

    蚂蚁集团战略投资薄荷健康,持股超28%成为最大外部股东。双方合作首期“拍饮食测卡路里”功能已在蚂蚁阿福App上线。受此消息影响,阿里巴巴港股盘中涨超9%,恒生科技指数大涨4.34%。

    港科大携手蚂蚁集团:当AI导演开始
    港科大携手蚂蚁集团:当AI导演开始"记住"视频里的每一个角色

    香港科技大学、蚂蚁集团等联合提出WorldDirector,将AI视频生成拆分为大语言模型规划三维轨迹的“导演大脑”与视频生成模型的“摄影机”,通过外貌绑定和时间丢弃机制,实现角色离开画面后仍保持身份一致与自然运动,在多项指标上超越现有方法。

    蚂蚁国际完成约12亿美元A轮融资,蚂蚁集团、阿里等参与
    蚂蚁国际完成约12亿美元A轮融资,蚂蚁集团、阿里等参与

    蚂蚁国际完成约12亿美元A轮融资,蚂蚁集团、阿里巴巴等现有股东及多家国际机构参与。资金将用于拓展全球业务版图,加速AI技术研发与应用,并夯实跨境支付等普惠金融服务。该轮融资将助力蚂蚁国际在东南亚、中东等新兴市场加速扩张,推动全球数字普惠金融发展。

    蚂蚁国际完成约12亿美元A轮融资,蚂蚁集团、阿里集团等参与
    蚂蚁国际完成约12亿美元A轮融资,蚂蚁集团、阿里集团等参与

    蚂蚁国际完成约12亿美元A轮融资,蚂蚁集团、阿里巴巴等现有股东及多家国际投资机构参与。资金将用于全球市场扩张、AI技术投入及跨境支付等普惠金融科技服务。业务覆盖亚洲、欧洲、中东、拉美,连接超1.5亿商家和20亿消费者账户,旗下拥有Alipay+、Antom、万里汇、Bettr四大板块。

    蚂蚁集团副总裁张俊杰:希望与成都有医疗健康领域的深度合作
    蚂蚁集团副总裁张俊杰:希望与成都有医疗健康领域的深度合作

    7月24日下午,APEC人工智能高级别论坛在成都举行。蚂蚁集团副总裁、健康事业群总裁张俊杰在会上接受了采访,聊了一个核心问题:AI技术到底能带来什么价值?他的回答很干脆——任何技术最大的价值,就是实现足够广泛的普惠,真正改变和提升普通人的生活方式。具体到医疗健康领域,目标就一句话:让老百姓看病更简单

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。