战略报告  ·  2026-06-20

现实场景中工具使用LLM代理中数据泄露风险的评估

战略报告High 影响Global
新加坡AI安全研究所(SG AISI)和韩国AI安全研究所(KR AISI)于2026年6月15日联合发布了一份严格评估(arXiv:2606.17114),评估了在非对抗性、常规条件下运行的工具使用LLM代理中的数据泄露风险。两个研究所分别构建了测试管道——ReAct风格的代理脚手架、模型模拟用户、基于MCP的工具环境和特定任务的LLM裁判标准——然后运行了一套12个现实任务的公共集合(员工入职、客户支持、DevOps、网络自动化、企业生产力),涵盖五个风险类别:缺乏数据意识、受众意识、政策合规性、数据最小化和访问边界意识。主要发现很令人震惊:在三个测试的代理中,"没有一个在所有场景中实现了完全正确和完全安全的执行",且"任务成功完成经常与数据处理失败相伴随,例如访问不必要的信息或向不适当的接收方披露信息"。该论文得出结论,"操作数据泄露是一个独特于对抗性渗透的一阶代理安全问题",以及"能力和数据处理安全必须分别评估"。注意:预印本,尚未经过同行评审。
随着企业部署具有电子邮件、CRM、代码库和内部数据库访问权限的LLM代理,这项政府间评估提供了第一份系统性的多研究所证据,证明即使是良性的日常代理使用也会例行公事地泄露敏感数据——使其成为当前最有力的经验证据案例,支持在广泛部署前制定强制性代理数据处理标准。
要求数据处理安全评估——不同于能力基准——作为任何接触敏感数据的企业代理部署的门槛;根据本论文确定的五个风险类别审查当前代理权限。
来源
arXiv:2606.17114 — SG AISI / KR AISI Joint Evaluation (abstract & HTML)arXiv:2606.17114 — Full HTML paper
在实时动态中查看 浏览更多 AI 安全与治理相关发现 — 每日清晨更新。
打开动态 →