Definisi
Serangan di mana aktor jahat dengan sengaja merusak data yang digunakan untuk melatih atau memperbarui model AI—atau menyuntikkan konten berbahaya ke dalam basis pengetahuan yang digunakan model saat runtime. Tujuannya adalah membuat model berperilaku tidak benar, menghasilkan output yang bias, atau membuat pintu belakang tersembunyi yang dapat dipicu nanti.
Mengapa penting
Data pelatihan yang sudah diracun tidak terlihat oleh pengguna akhir dan dapat bertahan melalui pembaruan produk, yang berarti model yang dikompromikan dapat memberikan jawaban yang sedikit salah atau berbahaya lama setelah penerapan. Serangan rantai pasokan yang meracuni paket AI (seperti cacing Shai-Hulud/Miasma) menunjukkan ini bukan lagi hipotesis.