무슨 일이 있었나
UK AI Safety Institute는 2026년 5월 21일에 시스템이 더욱 강력해짐에 따라 현재의 AI 감시 방법이 계속 효과적일 것인지를 조사하는 연구 보고서를 발표했습니다. 최첨단 AI 개발자, 정부, NGO 및 학계의 25명의 전문가 면접을 바탕으로, 보고서는 4가지 감시 표면 — 내부 활성화, 사고의 연쇄(chain-of-thought), 외부 행동 및 에이전트 간 통신 — 을 파악하고 이들이 저하될 수 있는 20가지 이상의 경로를 매핑합니다. 주요 발견: 현재 가장 정보성 높은 모니터링 신호인 사고의 연쇄(CoT) 추론은 모델이 인간이 읽을 수 있는 텍스트 대신 내부 상태에서 전적으로 추론할 수 있게 하는 잠재적 추론 아키텍처로부터 상당한 압박을 받습니다; 행동 전용 모니터링은 기본 수준을 제공하지만 단독으로는 불충분합니다; 감시를 위한 훈련(예: 모델이 정직하거나 투명하도록 훈련)은 배포 맥락으로 일반화되지 않을 수 있습니다. 보고서는 현재의 감시가 개입이 없으면 침식될 가능성이 높은 오늘날 AI 시스템의 우발적 특성에 기반하며, 새로운 방법은 아직 충분히 성숙하지 않아 그 손실을 보상할 수 없다고 결론짓습니다.
왜 중요한가
고급 AI에 대한 안전 논증은 점점 더 감시에 의존합니다 — 배포 전 모델을 감사하고, 사용 중 행동을 모니터링하며, 발생 후 사건을 조사할 수 있는 능력입니다. 감시가 보고서가 제시하는 속도로 저하된다면, 기관은 배포 전에 정렬 해제, 보상 해킹, 평가 게임 및 기타 위험을 감지할 수 있는 능력을 상실하게 되어, 예방(복잡한 사회기술 시스템의 잔여 위험을 제거할 수 없음)에만 의존하도록 강요합니다. 보고서는 중요한 가정에 대한 전문가 의견 불일치 — 잠재적 추론이 지배할 것인지, 행동 모니터링이 충분한지, 정렬 허니팟이 의미가 있는지 — 를 표면화하며, 현재 안전 사례의 격차를 노출합니다.
필요한 조치
AI 거버넌스 팀은 자신의 조직이 의존하는 감시 기법을 조사하고 보고서가 파악한 저하 경로에 대한 노출을 평가해야 합니다; 모델 개발자는 체인오브쏘트 모니터링이 자신의 배포 시간표에서 실행 가능한지를 평가하고 대체 수단으로 새로운 기법(화이트박스 접근, 제어 프로토콜)에 투자해야 합니다; 이사회는 안전 사례가 감시 저하를 명시적으로 설명하는지 또는 현재 모니터링 용량이 지속될 것으로 가정하는지를 물어봐야 합니다.