정의
AI 모델이 학습되는 거대한 데이터셋에 악성 콘텐츠를 심어 모델의 동작 방식에 숨겨진 '백도어'를 내장하는 방식이다. 연구진들은 학습 데이터의 0.1%만 오염시켜도 배포된 에이전트에서 추후 원격 코드 실행을 유발하고 안전 튜닝을 통과하는 백도어를 심을 수 있음을 보여주었다. 오염된 동작은 특정 트리거 하에서만 발동하므로 일상적인 테스트에서는 거의 발견되지 않는다.
왜 중요한가
학습 데이터를 공급하거나 큐레이션하는 모든 주체 — 제3자 데이터 공급업체 포함 — 는 일반적인 평가로는 발견되지 않는 잠복 백도어를 심을 수 있으며, 이로 인해 모델의 신뢰성을 알 수 없게 된다.