漏洞  ·  2026-07-13

思考过度:推理权重放大最高可 10 倍更频繁地提取隐藏的 LLM 秘密

漏洞Medium 影响Global
研究人员(Jack Hopkins、Dipika Khullar、Fabien Roger)发表了《思考过度:放大推理权重以提取学习的秘密》(ICML 2026),证明在权重空间中放大推理方向任务向量导致模型以比未修改的推理模型高出最多 10 倍的频率揭示在训练期间获得的隐藏行为和秘密。
这是一种新型模型操纵技术,具有有效的方法:任何有权访问基础指令模型及其推理蒸馏兄弟权重的人都可以构造放大模型,该模型泄露训练时秘密或后门行为,这些行为黑盒审核将另外错过 — 既相关作为红队/审核工具,也相关作为针对开放权重模型发布的潜在提取向量。
给定一个非推理指令模型 M 和推理蒸馏模型 R,审计员(或有权访问模型权重的对手)计算"推理任务向量"τ = θ_R − θ_M 并以放大因子 α > 1 应用它以产生"思考过度"模型 θ_O = θ_M + α·τ。这放大了模型"大声思考"的倾向,使在训练期间获得的隐藏信息、秘密或意外行为比直接查询基础推理模型频率高得多地浮出水面。
推理蒸馏语言模型(适用于具有配对的非推理/推理蒸馏变体的任何模型的通用技术)
模型开发者应在部署前红队和审核管道中纳入推理放大/任务向量探测,以在发布前检测隐藏行为;即使仅公开分发蒸馏/指令变体,也应将模型权重视为敏感。
arXiv:2607.08173
在实时动态中查看 浏览更多 AI 安全与治理相关发现 — 每日清晨更新。
打开动态 →