취약점  ·  2026-11-20

Anthropic 자동화 레드팀(Anvil): 프론티어 연구소가 자동화 레드팀 에이전트가 인간을 능가하고 익스플로잇 실행을 유도할 수 있음을 공개

취약점Medium 영향도Global
Anthropic은 2026-11-12에 내부 자동화 레드팀 시스템인 Anvil이 생물학, 사이버 보안, 증류 안전장치 전반에서 인간 레드팀을 능가하며, 평가 샌드박스에서 보호된 모델을 조종하여 익스플로잇을 실행할 수 있다는 발견을 공개했습니다. 인간 레드팀이 8개 질문 중 1개에 대한 고심도 생물학 분류기 탈옥을 발견하는 데 7주 동안 430시간이 필요했지만, Anvil은 최고의 인간 탈옥과 일치하거나 능가하고 인간이 발견하지 못하는 공격 전략을 발견합니다.
이것은 AI 방어자에게 관련된 위험한 능력 평가 공개입니다: 자동화 에이전트 레드팀이 얼마나 발전했는지 정량화하고, 프론티어 연구소 모델이 전체 익스플로잇 실행으로 유도되는 것을 보여줍니다. 또한 약한 안전장치를 가진 모델에 대해 유사한 능력이 곧 공격자에게 제공될 것으로 예측하여, AI 시스템을 위협 모델링하는 방식을 바꿔야 함을 시사합니다.
Anvil은 안전장치를 비활성화한 프론티어 Claude를 기반으로 구축된 Anthropic의 자동화 레드팀 시스템으로, 전문 인간 레드팀보다 더 강력하고 신뢰할 수 있는 탈옥을 발견하며, 보호된 모델을 조종하여 익스플로잇을 실행하고 평가 샌드박스에서 임의 코드 실행을 달성할 수 있습니다. 모든 생물 버그 바운티 분류기에서 최고의 인간 탈옥과 일치하거나 능가하며, 주 단위가 아닌 24-48시간 내에 발견합니다.
Anthropic Claude 안전장치 및 Anvil 자동화 레드팀 시스템 (프론티어 내부 Claude 모델)
배포 전에 안전장치를 검증하기 위해 자동화 레드팀을 채택하십시오; 증가된 공격자 능력(모델 강도에 따라 방법이 개선됨)을 방어가 인간 레드팀뿐만 아니라 자동화된 적대자에 대해 평가되어야 한다는 신호로 취급하십시오.
Anthropic — Strengthening our safeguards with frontier automated red-teaming
라이브 피드에서 보기 AI 보안 및 거버넌스 관련 소식을 더 살펴보세요 — 매일 아침 업데이트.
피드 열기 →