무슨 일이 있었나
OpenAI의 공식 블로그에 서명된 에세이에서 최고 과학자 Jakub Pachocki는 다음과 같이 밝혔습니다: '내부 결과에 기초하여, 나는 이 진전의 속도가 재귀적 자기 개선[RSI]으로 지속될 수 있다는 강한 기대를 가지고 있습니다... 향후 몇 년 내에 우리가 보게 될 시스템들은 동등하거나 더 큰 규모의 추가적인 능력 도약을 나타낼 가능성이 높으며, 점점 더 자신의 발전을 주도할 것입니다.' 그는 '목표 정렬'(지시를 따르는 것)을 '가치 정렬'(학습되지 않은 상황에 좋은 판단을 일반화하는 것)과 구분하며, 체인-오브-소트 모니터링(모델이 행동하기 전에 모델 추론을 검사하기 위한 OpenAI의 주요 기법)이 능력 증가에 따라 신뢰도가 낮아지고 있음을 공개했습니다. Pachocki는 어느 연구소도 무한정 최대 속도로 확장을 정당화할 만큼 정렬을 충분히 해결했다고 말하지 않으며, '정부의 최우선 과제'로서 자발적 산업 감속 및 국제 정부 조정을 요청합니다.
왜 중요한가
국경 연구소의 최고 과학자가 자신의 핵심 안전 모니터링 기법이 저하되고 있음을 공개적으로 인정하면서, 동시에 재귀적 자기 개선을 근시일 내의 가능성으로 지적하는 것은 보드와 정책입안자들이 국경 연구소의 자체 규제 신뢰성 및 외부 AI 거버넌스의 긴급성을 평가하기 위한 실질적인 신호입니다.
필요한 조치
체인-오브-소트 모니터링 가능성 저하가 연구소 제공 안전 보장에 의존하는 엔터프라이즈 AI 에이전트 배포에 미치는 영향에 대해 이사회에 브리핑하고, 규제 지평 스캔에서 국제 RSI 조정 요청을 추적합니다.