무슨 일이 있었나
2026년 11월 12일, Microsoft는 'Trained to betray'라는 포스트트레이닝 공급망에 대한 두 가지 연구를 발표했습니다. 데이터셋 중독은 파인튜닝 데이터세트에 조작된 예제를 숨겨 에이전트가 사용 가능한 명령 실행 도구를 오용하도록 학습시키며(최대 약 78% 공격 성공률, 보이지 않는 하니스로 전이), 공개적으로 배포된 중독된 체크포인트를 통한 모델 중독은 보이지 않는 저장소에서 평균 84.1%-94.8% 성공률을 달성했습니다. 위협 헌팅은 공개 학습 데이터에 이미 존재하는 위험한 도구 호출 예제도 발견했습니다.
왜 중요한가
코딩 및 터미널 에이전트가 중독된 파인튜닝 데이터 또는 허브 신뢰 체크포인트를 통해 백도어될 수 있으며, 프롬프트 인젝션 방어는 트리거가 양성처럼 보이기 때문에 이를 잡지 못함을 보여줍니다. 이는 시스템적 통제 요구사항을 강화합니다: 학습 데이터 면밀히 검토, 체크포인트 출처 검증, 에이전트 도구 권한 엄격히 제한.
적용 범위
오픈웨이트 코딩/터미널 에이전트를 파인튜닝하거나 채택하는 조직은 학습 데이터 검토, 체크포인트 출처 및 배포별 평가를 추가하고, 에이전트에게 파일/네트워크 액세스를 부여하기 전에 엄격한 도구 권한을 적용해야 합니다.