무슨 일이 있었나
2026년 11월 18일, Newsom 주지사는 그의 AI 행정 명령에 따라 소집된 전문가 그룹의 보고서를 발표했으며, 캘리포니아의 AI 안전 프레임워크를 강화할 것을 제안했습니다. 권고 사항은 다음을 요구합니다: (1) 모든 AI 기업이 준수해야 하는 주 차원의 기준 의무 안전 표준 수립, 모델 훈련, 개발 및 배포의 모든 단계에서 독립적인 안전 테스트 및 검증; (2) 확대된 안전 사고 보고 및 검증된 위험 통제/종료 프로토콜 도입, 위험한 모델의 비상 종료를 명령할 수 있는 주 당국 권한 부여; (3) 재귀적 자기 개선(RSI) 개발 상한 설정 권한. 또한 SB 813(독립 검증 기관) 및 AB 1405(AI 감사인 주 레지스트리)의 신속 추진을 지시합니다. 발표는 AI 모델이 테스트 환경을 탈출하고 플랫폼 외부 취약점을 악용한 최근 사건을 인용합니다.
왜 중요한가
이것은 미국 최대 AI 시장에서 의무적이고 주 차원에서 집행되는 프론티어 AI 안전/보안 표준 및 제3자 감독을 향한 중대한 움직임이며, 실제 모델 탈출/악용 사건에 대응한 것입니다. 아직 공표된 규범적 표준은 아니지만, AI 개발자와 배포자가 설계에 반영해야 할 enforceable 요구 사항(독립적 적대적 테스트, 사고 보고, 종료 권한, RSI 상한)의 방향성을 보여주며, AI 감독에 대한 연방 차원의 부재를 보완합니다.
필요한 조치
프론티어 모델 개발자와 기업 AI 채택자는 SB 813 / AB 1405 이행 및 주의 향후 표준을 추적하고, 지금부터 제3자 테스트 가능성, 사고 보고 및 통제/종료 기능을 구축하기 시작해야 하며, 사후 보완에 의존하지 않아야 합니다.