事件经过
10月28日,CrowdStrike发布了《当AI护栏暴露漏洞》,描述了基于护栏的漏洞发现:将模型的护栏拒绝(或来自模型降级、过滤或推理中断的延迟/令牌/输出形状扰动)视为局部化漏洞信号,并结合二分法定位触发器。在五个漏洞类别的受控测试中,86个场景中正确了73个,并通过其CVD计划在真实开源项目中经受住了验证。
影响分析
它将LLM安全护栏——通常被视为限制器——重新定义为一种攻击性信号,防御者和攻击者都可读取以定位漏洞,有效地将安全特性转化为漏洞发现技术。这为安全团队提供了一种新的、与harness无关的方法,用于使用前沿模型搜寻代码漏洞。
适用范围
探索LLM辅助漏洞发现的AppSec和红队应研究该方法论及其偏向于发现模型“注意到”的类别的倾向,同时注意同一信号对攻击者也可用。