정의
AI 시스템이 해로운 콘텐츠를 생성하고, 개인 데이터를 유출하고, 조작당하거나, 안전이 중요한 방식으로 실패하도록 만들기 위해 전담 팀(내부 또는 외부)을 두는 관행입니다. 사이버 보안의 윤리적 해킹 관행을 반영하지만 AI 시스템에 특별히 적응된 것입니다.
왜 중요한가
표준 소프트웨어 테스트는 AI 특정 실패 모드를 포착하지 못합니다. 배포 전 레드팀 테스트는 조직이 자신의 AI가 어떻게 악용될 수 있는지 발견하는 주요 방법이며, 규제 당국은 이것이 수행되었다는 증거를 점점 더 기대하고 있습니다.