무슨 일이 있었나
Anthropic은 2026년 11월 13일에 'Building strong safety evaluations'를 발표했다. 이는 AI 안전 평가를 설계, 실행 및 보고하는 방법에 관한 자료이다. 이는 심리학의 복제 개혁과 Anthropic 자체의 시스템 카드 경험을 기반으로 하며, '안전 주장은 그 뒤에 있는 평가만큼만 견고하다'고 주장하고, '연구자들은 AI 평가가 쉽게 조작될 수 있고, 항상 측정한다고 주장하는 것을 측정하지 않으며, 재현할 수 있을 만큼 충분히 문서화되지 않는다는 것을 반복적으로 발견했다'고 경고한다. 관찰적 평가 설계와 인과적 평가 설계를 구분하고, 구성 타당성(예: 자해 대화에서 '거부는 종종 잘못된 구성이다')을 강조하며, 다학제 팀, 사전 등록, 실시간 모니터링을 통한 샌드박스 실행, 더 엄격한 보고를 권장한다.
왜 중요한가
안전 평가는 배포 결정과 규제 주장 모두를 뒷받침한다; 이는 선도적인 프런티어 연구소가 이를 신뢰할 수 있게 만드는 방법에 대한 실용적인 지침으로, AI 안전 평가 프로그램을 구축하거나 감사하는 모든 사람에게 직접적으로 관련된다.
필요한 조치
귀 기관의 모델/조달 안전 평가 방법론을 Anthropic의 구성 타당성, 인과 설계, 평가 보고 권장 사항과 비교 평가하라.