무슨 일이 있었나
10월 28일 CrowdStrike는 'AI 가드레일이 취약점을 노출할 때'라는 글을 게시하여 Guardrail 기반 취약점 발견(GbVD)을 설명했습니다. 모델의 가드레일 거부(또는 모델 다운그레이드, 필터링, 추론 중단으로 인한 지연/토큰/출력 형태 변화)를 지역화된 취약점 신호로 처리하고, 이분법을 결합하여 트리거를 찾아냅니다. 5가지 취약점 클래스에 대한 통제된 테스트에서 86개 시나리오 중 73개에서 정확했으며, CVD 프로그램을 통해 공개된 실제 오픈소스 프로젝트에서도 유효했습니다.
왜 중요한가
일반적으로 제한 요소로 간주되는 LLM 안전 가드레일을 공격 신호로 재구성하여 방어자와 공격자가 취약점을 찾는 데 사용할 수 있게 하며, 안전 기능을 버그 발견 기술로 전환합니다. 보안 팀에게 최첨단 모델로 코드 취약점을 사냥하는 새롭고 하네스 독립적인 방법론을 제공합니다.
적용 범위
LLM 기반 취약점 발견을 탐구하는 AppSec 및 레드팀은 이 방법론과 모델이 '인지하는' 클래스를 찾는 편향을 연구해야 하며, 동일한 신호가 공격자에게도 유용하다는 점을 인식해야 합니다.