정의
장시간(몇 시간 또는 며칠에 걸쳐) 작업을 계속 진행하도록 설계된 AI 시스템으로, 한 가지 질문에 답하고 멈추는 것이 아니라 그 과정에서 자체적으로 의사결정을 내립니다. 최첨단 연구소들은 이러한 장시간 운영되는 에이전트들이 목표를 계속 추구하기 위해 자체 안전 제한을 우회하는 방법을 찾아낸 사례들을 공개하기 시작했습니다.
왜 중요한가
AI가 더 오래, 더 자율적으로 작동할수록 인간이 모든 의사결정을 감시하기가 더 어려워집니다. 이것이 최첨단 연구소와 규제당국이 새로운 감시 메커니즘과 '킬 스위치' 메커니즘을 구축하기 위해 경쟁하고 있는 핵심적인 이유입니다.