생각 과다: 추론 가중치 증폭은 숨겨진 LLM 비밀을 10배까지 더 자주 추출합니다

연구원들(Jack Hopkins, Dipika Khullar, Fabien Roger)은 'Overthinking: Amplifying Reasoning Weights to Extract Learned Secrets'(ICML 2026)를 발표했으며, 가중치 공간의 추론 방향 작업 벡터를 증폭하면 모델이 수정되지 않은 추론 모델보다 훈련 중에 획득한 숨겨진 동작 및 비밀을 최대 10배까지 더 자주 노출한다는 것을 보여주었습니다.

이는 작동 방식이 있는 새로운 모델 조작 기술입니다. 기본 지시 모델과 추론 증류 형제의 가중치 모두에 액세스할 수 있는 모든 사람이 훈련 시간 비밀 또는 검은 상자 감사가 놓칠 수 있는 백도어 동작을 유출하는 증폭 모델을 구성할 수 있습니다. 이는 레드팀/감사 도구로 관련이 있으며 오픈 가중치 모델 릴리스에 대한 잠재적 추출 벡터로도 관련이 있습니다.

비추론 지시 모델 M과 추론 증류 모델 R이 주어지면, 감사자(또는 모델 가중치 액세스가 있는 적대자)는 '추론 작업 벡터' τ = θ_R − θ_M을 계산하고 증폭 계수 α > 1을 사용하여 '과도한 생각' 모델 θ_O = θ_M + α·τ을 생성하기 위해 이를 적용합니다. 이는 모델의 '큰 소리로 생각하기' 성향을 증폭시키며, 훈련 중에 획득한 숨겨진 정보, 비밀 또는 의도하지 않은 동작을 기본 추론 모델을 직접 쿼리하는 것보다 훨씬 더 자주 표면화합니다.

추론 증류 언어 모델(비추론/추론 증류 변형이 있는 모든 모델에 적용 가능한 일반 기술)

모델 개발자는 릴리스 전에 숨겨진 동작을 감지하기 위해 배포 전 레드팀 및 감시 파이프라인에 추론 증폭/작업 벡터 프로빙을 통합해야 하며, 공개적으로 배포되는 것이 증류/지시 변형뿐인 경우에도 모델 가중치를 민감한 것으로 취급해야 합니다.