为大模型与智能体套上“紧箍咒”蚂蚁集团连发两款开源安全模型

封面新闻记者 张越熙
随着人工智能从单纯的紧箍咒内容生成迈向自主执行阶段,安全挑战的模型边界已从模型输出内容扩展至行为控制、权限管理及系统治理。体套团连智能体(Agent)开始具备自主调用工具、上蚂运行代码及规划任务的蚁集源安能力,大模型也逐步融合图像、发两文本等多模态信息。款开AI系统能力的全模不断拓展,在提升效率的紧箍咒同时,也引发了更为复杂的模型安全隐患。
7月13日,体套团连蚂蚁AI安全实验室正式开源智能体安全护栏 SingGuard-NSFA,上蚂并同步披露多模态安全护栏 SingGuard的蚁集源安详细信息。这两款模型分别针对“自主执行的发两智能体”与“多模态交互的大模型”两大核心场景,旨在构建更完善的款开底层安全防线。
智能体自主性越强,安全风险放大效应越明显
过去一年,提示词注入、权限滥用、恶意代码执行及数据泄露等安全事件频发。从 Amazon Q 的提示词投毒、Microsoft Copilot 的数据泄露,到开源智能体 OpenClaw 暴露出的提示词注入风险,一系列案例表明:智能体的自主性越强,其潜在的安全风险放大效应也越显著。
政策层面也在加速跟进:
* 2025年12月,OWASP 发布《智能体应用安全十大风险》,系统梳理了智能体特有的安全威胁图谱。
* 2026年5月,国家网信办、国家发展改革委、工业和信息化部联合印发《智能体规范应用与创新发展实施意见》,首次从国家层面对智能体安全治理提出明确要求。
在此背景下,蚂蚁此次开源两款安全模型,旨在解决传统内容审核体系难以覆盖的行为层面风险。随着智能体从“回答问题”走向“自主办事”,安全风险不再局限于内容合规,更体现在提示词注入、敏感信息窃取、恶意代码执行、资源耗尽及权限滥用等行为维度。
SingGuard-NSFA:构建智能体行为防护体系
针对智能体执行动作前的安全痛点,SingGuard-NSFA在请求拦截和响应兜底两端构建了实时行为安全防护体系。
- 标准化风险分类:基于 CIA(保密性、完整性、可用性)原则,结合 OWASP 等国际安全指南,SingGuard-NSFA 将智能体风险细分为 7大类、28个中类和185个具体场景。
- 大规模评测体系:建立了覆盖 133种语言、近10万条样本的智能体安全评测体系,确保检测的全面性与准确性。
- 双模式技术实现:
- 审计模式:逐条生成详细的风险分析报告,适用于事后审查与合规记录。
- 实时模式:单次风险判定耗时约 50毫秒,专为线上高并发场景设计,实现实时拦截。
- 灵活部署:提供 0.8B、2B、4B、9B四种模型规模,满足不同算力与部署需求。
SingGuard:应对多模态交互的复杂攻击
与智能体操作安全并行的另一条防线,是多模态交互场景下的内容安全。
今年6月,Anthropic 发布的旗舰模型 Claude Fable 5 在数日内即被研究者利用 Unicode 字符和西里尔字母替换敏感词,成功绕过安全护栏。这一事件揭示了一个严峻现实:当模型具备还原变形文字、图片及跨模态信息的能力时,传统的关键词识别式护栏已显得力不从心。
为此,蚂蚁推出了 SingGuard多模态安全护栏:
* 统一判断框架:面向文本、图片及跨模态内容建立统一的安全判断逻辑,有效识别攻击者将恶意动作隐藏在文字、图片等不同模态中的复杂攻击手段。
* 动态规则更新:支持运行时动态加载自然语言安全规则,无需重新训练模型即可完成规则迭代,极大提升了在规则持续演进、业务流量较大的生产环境中的适应性。
行业观点
中国信通院人工智能研究所安全治理部副主任呼娜英指出,随着大模型从内容生成迈向自主执行,AI安全正从单一的内容审核延伸至行为管控和系统治理。这已成为智能体规模化应用的重要基础能力,而此类开源安全模型的发布,将为行业提供关键的底层支撑。
(责任编辑:休闲)
-
“消失”的人工客服,一个电话就能解决的事,为何把人逼到“走投无路”?
“只需一个电话就能解决的事,却把人逼到走投无路”这一话题近日强势登顶微博热搜榜首。事件起因是一位知乎用户分享其遭遇:因银行卡被误冻结,微信支付功能随之受限。尽管反诈中心已开具解冻证明,该用户在向腾讯客
...[详细]
-
这项由浙江大学与阿里巴巴达摩院联合开展的前沿研究,以预印本形式于2026年7月发布,论文编号为 arXiv:2607.01804。感兴趣的技术读者可通过该编号检索完整论文,或访问 GitHub 项目页
...[详细]
-
视频制作:陈凯7月12日至13日,2026“打卡中国”——你好,“十五五”!新质赋能·创新山东网络国际传播活动深入济宁。中外博主实地探访,共同见证儒家文化底蕴与现代智能制造的深度融合。活动期间,202 ...[详细]
-
英格兰vs阿根廷半场数据:双方共3射0正,犯规7-12,黄牌1-1
在刚刚结束的美加墨世界杯半决赛上半场较量中,英格兰队与阿根廷队战成0-0平局。比赛节奏紧凑但进攻效率低下,全场共出现19次犯规,射门数据为3次0次射正),双方各领到1张黄牌,埃利奥特-安德森与利桑德罗
...[详细]
-
英伟达与丰田扩大合作,推进物理AI在汽车、机器人和城市领域应用
7月14日,英伟达NVIDIA)与丰田汽车Toyota)正式宣布扩大战略合作伙伴关系,旨在共同推动物理人工智能Physical AI)技术在汽车制造、机器人应用以及城市智能系统领域的深度落地与规模化应 ...[详细]
-
WAIC 2026前瞻:当AI从“能聊”变“能干”,1100家企业将交出怎样的答卷?
图源:视觉中国蓝鲸新闻7月16日讯记者 翟智超)7月17日,上海世博、张江、西岸“三地四馆”将同步开启2026年世界人工智能大会WAIC)。本届大会以“智能伙伴,共创未来”为主题,展览总面积首次突破1
...[详细]
-
你还在手写 Prompt?聪明的人早就用上了循环工程,AI 的自动驾驶时代来了
一条推文引发的行业变革2026 年 6 月初,OpenClaw 创始人 Peter Steinberger 在社交平台发出警示:停止手动为 AI Agent 编写提示词,转而设计能够自动生成提示词的系
...[详细]
-
周大福“贴脸开大”LV?快闪店开到LV门口 大方展示传统宝相花纹,周大福门店:是新品常规线下展出,选址由公司和商场提前确定
近日,周大福在上海港汇恒隆广场一楼中庭开设“万相系列”主题快闪店,其位置正对LV门店,直线距离不足15米。展区从地面到陈列全面覆盖唐代宝相花等中国传统纹样,被网友戏称为周大福对LV“贴脸开大”。随着相
...[详细]
-
我59岁定居德国30年,处过3个德国女人,连瓶水都要跟我AA
01 那瓶水,成了我们之间最后的台词法兰克福的夏天总是姗姗来迟。六月的傍晚,阳光依旧刺眼。老周坐在美因河畔的啤酒花园里,面前是一杯喝了一半的比尔森啤酒。59岁的他,鬓角斑白,穿着一件洗得发白的蓝衬衫,
...[详细]
-
“用力过猛”、“贩卖焦虑”、“东一榔头西一棒子”、“言行不一”、“样样通样样松”、“现实版紫薯精源自《饭店寒假工》系列,身穿紫色工服,干活不行、甩锅第一)”、“职场反面教材”、“新明学继承人”、“表演
...[详细]

学校越管越臃肿?学部+级部双轨制,破解科层治理五大顽疾
Apple 智能已经完成备案有望开放 将会集成阿里千问
这一期,聊聊《殿前扬威》那些不是彩蛋的彩蛋
