무슨 일이 있었나
이 MIT 슬론 매니지먼트 리뷰 기사(2026년 11월 3일 게재)는 새로운 AI 거버넌스 프레임워크에 숨겨진 문제가 있다고 주장한다. "인간 인루프(human-in-the-loop)"를 AI 생성 경고에 반응적으로 만들고 잠재적 위협 식별에 사전 대응적으로 만들지 않음으로써, 중요한 인간 행동을 미묘하게 약화시키고 전반적인 신뢰성을 저하시킬 수 있다는 것이다. 원자력 발전소, 항공모함, 항공 교통 관제소 등 고신뢰성 조직(HRO)의 교훈(스리마일섬 경보 연쇄 실패, 컬럼비아 폼 파편 이의 억제 포함)을 바탕으로, 저자는 AI 기반 위협 탐지 시스템(사기, 침입, 규정 준수, 환자 악화)이 편향, 드리프트, 환각에 취약하며, 반응적 인간 승인에 기반한 거버넌스 프레임워크가 전선의 판단력을 강화하기보다 오히려 저하시킬 수 있다고 주장한다. 이는 문제에 가장 근접한 인간에게 의사결정 권한을 복원하고, 새로운 이상 징후를 잡음이 아닌 신호로 취급하는 운영 원칙을 설계할 것을 권고한다.
왜 중요한가
AI 감독, 에스컬레이션 및 승인 프로세스를 설계하는 CISO나 운영 책임자에게 이는 인간 검토를 추가하면 자동으로 안전성이 향상된다는 일반적인 가정에 도전한다. 이는 인간의 경계심을 줄이고 새로운 맹점을 만들 수 있으며, 규제 대상 또는 안전 중요 AI 배포에서 중요한 고려 사항이다.
필요한 조치
AI 위험 및 보안 책임자들이 AI 경고 기반 인간 인루프 체크포인트가 전선의 경계심을 약화시키는지 테스트하도록 하고, 고신뢰성 운영 원칙(전선 판단 권한, 이상 징후를 신호로 처리)을 AI 위협 탐지 거버넌스에 적용하는 것을 고려하라.