时间:2025-07-29 03:06 作者:白玉禅
蚂蚁集团大模型安全解决方案“蚁天鉴”升级,新增智能体安全评测工具
随着人工智能(AI)技术的不断进步,AI领域正从大模型时代迈向智能体时代。智能体不仅具备对话生成能力,还拥有自主规划、跨领域推理,甚至能做出超越人类理解的决策,AI已进入“行动”阶段。然而,智能体的越权、过度代理等问题也带来了安全挑战。
数据显示,超过70%的智能体从业者担忧AI幻觉与错误决策、数据泄露等问题,因为AI生成的内容往往包含事实错误,或者对指令产生误解,其中超半数受访者表示,所在企业尚未设立明确的智能体安全负责人。
“蚁天鉴”为蚂蚁集团联合清华大学共同研发推出的大模型安全一体化解决方案,确保大模型技术在安全可靠的环境中发挥效能,打造AI大模型的安全铠甲。“蚁天鉴”新增的智能体安全评测功能,正与WDTA标准框架契合。
MCP安全扫描功能,则为行业内首个对外发布的MCP安全扫描工具,可自动化识别AI工具集成与数据交换链路中的安全漏洞及风险行为,覆盖工具投毒攻击、间接提示词注入、恶意代码注入等3大类共10项子类风险。
此外,其Agent对齐功能,集成了高效工具调用、敏感双重验证、多通道恶意识别及沙盒环境训练,确保智能体的决策、行为与开发者预设目标、价值观及伦理道德保持一致;通过深度理解智能体服务上下文与风险情境,“蚁天鉴”还可对每一次调用进行内容、链路、行为、权限、组件、来源、身份七层校验,并依据策略引擎动态决策放行、降级或阻断,实现“永不信任,始终验证”的零信任动态防御。
蚂蚁集团机器智能部总经理、安全实验室首席科学家王维强在WAIC论坛演讲
蚂蚁集团机器智能部总经理、安全实验室首席科学家王维强表示:“升级的‘蚁天鉴’基于‘以攻促防’的安全理念,通过构建‘对齐-扫描-防御’技术栈,形成全流程防护体系,从而为智能体提供风险扫描与实时防御能力,我们也将与行业共建,未来逐步开源开放安全工具。”
据了解,2024世界人工智能大会上,“蚁天鉴”2.0发布,形成了包括大模型基础设施测评、大模型X光测评、应用安全测评、AIGC滥用检测、证件伪造检测、围栏防御等在内的完整技术链条,面向行业提供全方位智能化的大模型安全测评和防御解决方案。
1、兆易创新:技术与人才双驱动,乘势而上二十年,兆易创新竞争力
3、如果一个女生嫁给的是越南人,我想没有男生会说她“崇洋媚外”