Overthinking: 推論ウェイト増幅により隠された LLM シークレットを最大 10 倍抽出

研究者(Jack Hopkins、Dipika Khullar、Fabien Roger)は「Overthinking: Amplifying Reasoning Weights to Extract Learned Secrets」(ICML 2026)を発表し、重みスペースで推論方向タスクベクトルを増幅すると、モデルが修正されていない推論モデルよりも最大10倍頻繁に訓練中に習得した隠された動作とシークレットを明かすことを実証しました。

これは作動方法を備えた新しいモデル操作技術です。ベース指示モデルとその推論蒸留シブリングの重みの両方へのアクセス権を持つ誰でも、黒ボックス監査が見落とすであろう訓練時のシークレットまたはバックドア動作をリークする増幅されたモデルを構築できます。これはレッドチーム/監査ツールとしても、オープンウェイトモデルリリースに対する潜在的な抽出ベクトルとしても関連があります。

非推論指示モデルMと推論蒸留モデルRが与えられた場合、監査者(またはモデルウェイトアクセスを持つ敵対者)は「推論タスクベクトル」τ = θ_R − θ_M を計算し、増幅係数α > 1 を適用して「overthinking」モデル θ_O = θ_M + α·τ を生成します。これにより、モデルの「考えを声に出す」傾向が増幅され、訓練中に習得した隠された情報、シークレット、または意図しない動作が、ベース推論モデルを直接照会するよりもはるかに頻繁に現れます。

推論蒸留言語モデル(推論蒸留バリアントが付いているモデルに適用可能な一般的なテクニック)

モデル開発者は、リリース前に隠された動作を検出するために、事前デプロイメントのレッドチーミングと監査パイプラインに推論増幅/タスクベクトルプロービングを組み込むべきです。蒸留/指示バリアントのみがパブリックに配布される場合でも、モデルウェイトを機密として扱ってください。