Apa yang terjadi
Peneliti (Jack Hopkins, Dipika Khullar, Fabien Roger) mempublikasikan 'Overthinking: Amplifying Reasoning Weights to Extract Learned Secrets' (ICML 2026), menunjukkan bahwa mengamplifikasi task vector arah reasoning dalam weight space menyebabkan model mengungkapkan perilaku tersembunyi dan secret yang diperoleh selama training hingga 10x lebih sering daripada model reasoning yang tidak dimodifikasi.
Mengapa penting
Ini adalah teknik manipulasi model baru dengan metode kerja: siapa pun dengan akses ke model instruct dasar dan weight sibling reasoning-distilled dapat membangun model yang diamplifikasi yang membocorkan secret waktu-training atau perilaku backdoor yang audit black-box akan melewatkan — relevan baik sebagai alat red-team/audit dan sebagai vektor ekstraksi potensial terhadap rilis model open-weight.
Vektor serangan
Diberikan model instruct non-reasoning M dan model reasoning-distilled R, auditor (atau adversary dengan akses model-weight) menghitung 'reasoning task vector' τ = θ_R − θ_M dan menerapkannya dengan amplification factor α > 1 untuk menghasilkan model 'overthinking' θ_O = θ_M + α·τ. Ini mengamplifikasi propensity model untuk 'think out loud,' mensurfacing informasi tersembunyi, secret, atau perilaku yang tidak dimaksudkan yang diperoleh selama training jauh lebih sering daripada menanyakan model reasoning dasar secara langsung.
Sistem yang terdampak
Reasoning-distilled language model (teknik generik yang dapat diterapkan pada model apapun dengan varian paired non-reasoning/reasoning-distilled)
Mitigasi
Developer model harus menggabungkan reasoning-amplification/task-vector probing ke dalam pipeline red-teaming dan auditing pre-deployment untuk mendeteksi perilaku tersembunyi sebelum rilis; perlakukan model weight sebagai sensitif bahkan ketika hanya varian distilled/instruct yang didistribusikan secara publik.