Attack  ·  Glosarium

AI memory poisoning

Serangan di mana seorang aktor berbahaya menanamkan informasi palsu atau berbahaya ke dalam memori yang dipertahankan agen AI di seluruh percakapan. Karena agen secara otomatis mengingat kembali dan bertindak berdasarkan memori tersimpan ini di sesi mendatang, satu peristiwa keracunan dapat secara permanen mengubah perilaku agen — diam-diam mengarahkan ulang tindakannya, membocorkan data, atau merusak kepercayaan lama setelah penyerang pergi.
Agen AI perusahaan semakin banyak mengingat konteks di seluruh sesi untuk menjadi lebih membantu; fitur ini menjadi pintu belakang yang persisten jika tidak diamankan. Satu entri memori yang dikompromikan dapat merusak setiap interaksi masa depan yang dilakukan agen tersebut dengan setiap pengguna.
Referensi
Microsoft: Guarding AI Memory — Memory Poisoning Threats and Defenses
Pantau di umpan langsung Lihat bagaimana hal ini terwujud dalam perkembangan keamanan dan tata kelola AI nyata.
Buka umpan →