事件经过
10月23日,Cisco Foundation AI发布了“Introducing Agentic Evaluation in FAITH”,将其FAITH网络安全评估框架扩展至多步骤工具使用代理任务。其首个集成式代理基准VulnLoc用于评分代理定位仓库中易受攻击文件的能力(阶段A,真实文件集匹配)以及避免对已修补代码的误报(阶段B,真负率)。FAITH现在管理模型-代理-工具交互循环,记录完整对话/工具调用轨迹,并可通过Docker或Kubernetes“代理沙箱”以只读仓库访问方式运行。
影响分析
随着网络安全代理采取多步骤自主行动,仅基于结果的评分已不足够。Agentic FAITH为防御者提供了一种可重复的、开放标准的方法来衡量工具选择、中间决策、停止行为和误报——这些是市场上缺乏的工具。这是来自主要厂商的一项显著的开源能力。
适用范围
评估代理渗透测试/漏洞发现代理的红队和AI安全团队应将Agentic FAITH/VulnLoc加入其评估套件,进行过程级评分,而不仅仅是答案准确性。