Anthropic dan kolaborator menunjukkan bahwa 0,1% peracunan pra-pelatihan dapat menanamkan backdoor eksekusi kode jarak jauh pada sebuah agen

Dalam 'Agentic Backdoors via Pretraining Poisoning' (arXiv 2610.37741, diajukan 27 Oktober, kode Apache-2.0), para peneliti melatih model Qwen3 dari awal pada ukuran 0,6B/1,7B/4B dan melatihnya menjadi agen CLI, menunjukkan bahwa meracuni sekitar 0,1% korpus pra-pelatihan dengan desain racun baru menanamkan backdoor RCE yang terpicu pada pemicu tertentu sementara agen berperilaku normal; ASR meningkat seiring skala (~92% pada 4B) dan bertahan bahkan pada peracunan 0,0005%, tetap hidup setelah SFT, DPO, dan RL untuk penggunaan alat.

Ini adalah demonstrasi pertama bahwa serangan peracunan berbasis data pada pra-pelatihan mencapai eksekusi kode jarak jauh pada agen yang digunakan dan bertahan setelah pasca-pelatihan, memperkuat argumen untuk kontrol rantai pasokan model dan integritas korpus jauh sebelum penerapan.

Tim yang menjalankan atau mengadakan model frontier/agenik harus memperlakukan peracunan korpus pelatihan sebagai vektor RCE, menambahkan pemeriksaan asal-usul/peracunan ke rantai pasokan model, dan memperhitungkannya dalam red-teaming agen dan tinjauan pengadaan.