Definisi
Serangan pada model atau agen yang terjadi setelah pelatihan utama, melalui data fine-tuning yang diracuni atau checkpoint yang dirusak yang diunduh dari hub model. Model tersebut kemudian dirilis berperilaku normal hingga dipicu. Ini mengeksploitasi kepercayaan yang kita berikan pada model yang tidak kita bangun sendiri.
Mengapa penting
Ini menunjukkan bahwa pertahanan injeksi prompt saja tidak akan menangkap model yang telah disabotase sebelum penerapan, sehingga asal-usul dan inspeksi pasca-pelatihan menjadi penting.