정의
안전 훈련이 외과적으로 제거된 모델 — 거부 계층이 제거되어 학습 시 거부하도록 훈련된 작업을 기꺼이 수행하며, 종종 약간의 코드 변경만으로 가능합니다. 공격자들은 악의적인 작업을 위해 가드레일이 없는 모델을 원할 때 이를 사용하며, 실제 고객 AI 자격 증명 도난 사건에 사용된 적이 있습니다.
왜 중요한가
이는 '안전한' 공개 모델이 제약 없는 도구로 재포장될 수 있음을 보여주며, 이는 평판이나 공공 안전 주장에 의존하는 누구에게나 위험 계산을 변화시킵니다.