Guardrail-based vulnerability discovery

AIモデル自身の安全拒否——停止して「これはすべきではない」と言う瞬間——を手がかりとして、システムの弱点を見つける手法。セキュリティ研究者と攻撃者の双方が、これらの拒否を読むことで、組織の防御が最も薄い箇所を特定できる。

これは、ガードレールが単なる制限装置に過ぎないという前提を覆すものである。あらゆる拒否は、防御が最も弱い場所についての情報を漏らす可能性があるため、攻撃者を遅らせるガードレールが、同時に攻撃者に情報を提供していることにもなり得る。