정의
AI 모델의 자체 안전 거부——모델이 멈추고 '이건 하면 안 되겠다'라고 말하는 순간——을 시스템의 약점을 찾는 단서로 활용하는 방식. 보안 연구자와 공격자 모두 이러한 거부를 읽고 조직의 방어선이 가장 취약한 지점을 파악할 수 있다.
왜 중요한가
이는 가드레일이 단지 제한 장치에 불과하다는 가정을 뒤집는다. 모든 거부는 보호가 가장 약한 곳에 대한 정보를 누출할 수 있으므로, 공격자를 늦추는 가드레일이 오히려 그들에게 정보를 제공할 수도 있다.