무슨 일이 있었나
10월 20일 Gray Swan은 재설계된 공개 레드팀 플랫폼인 Arena 2.0을 출시하고, Anthropic, Meta, Google DeepMind 및 Reflection AI가 후원하는 $300K 규모의 'Indirect Prompt Injection (IPI) Black' 대회를 포함한 최대 규모의 경쟁을 시작했습니다. 11월 2일까지 매주 새로운 공격 시나리오가 추가됩니다. 이 플랫폼은 샌드박스로 현실적인 시뮬레이션 환경을 구축하고, 각 에이전트를 인간이 직접 구동해야 하며, 단계별 학습 경로, 교육 인증서, Gray Swan의 유료 레드팀 커뮤니티로의 경로를 추가합니다.
왜 중요한가
오염된 웹 콘텐츠/포럼을 통한 IPI는 지배적인 에이전트 위험이며, 이는 안전한 샌드박스 실행과 함께 구조화되고 후원되는 에이전트 중심 레드팀을 공개 영역으로 가져옵니다. 레드팀은 정적 모델 탈옥에서 다중 턴 에이전트 워크플로 탈출로 이동하고 있습니다 — 이는 에이전트 보안 테스트에 대한 최첨단 신호입니다.
적용 범위
보안 연구원, 레드팀, 웹 사용 에이전트를 구축하는 기업은 IPI 공격 패턴과 에이전트 샌드박스 탈출 동작을 이해하기 위해 주시/참여해야 합니다; 구매 전 에이전트 레드팀 플랫폼을 평가하는 데 유용합니다.