Attack  ·  Glosarium

Sleeper agent (neuron-level model backdoor)

Perilaku jahat tersembunyi yang tertanam di dalam model dan tetap tidak aktif sampai pemicu spesifik mengaktifkannya. Penelitian menunjukkan bahwa perilaku ini dapat ditanamkan hanya dengan mengubah beberapa 'neuron' internal — dan yang penting, dapat dideteksi. Ini adalah bentuk gangguan yang sangat sulit dilihat yang tidak akan disadari oleh pengguna hilir.
Bahkan model yang tidak Anda latih pun dapat diam-diam membawa instruksi untuk bertindak salah di kemudian hari, yang merupakan risiko rantai pasokan yang serius bagi semua pihak di hilir.
Microsoft Research — sleeper agents / model backdoor detection
Pantau di umpan langsung Lihat bagaimana hal ini terwujud dalam perkembangan keamanan dan tata kelola AI nyata.
Buka umpan →