Apa yang terjadi
promptfoo 0.125.0 (23 Okt) adalah rilis breaking yang menjadikan jks-js sebagai peer dependency opsional dan SDK Claude Agent/Codex sebagai opt-in. Konten keamanan yang menonjol: 'eval safe mode' untuk menonaktifkan eksekusi JavaScript inline, strategi red-team encoding statis 'arabic-presentation-forms' baru, tipe assertion rouge-l/rouge-s, dan konfigurasi penyedia program akses Daybreak.
Mengapa penting
Pengerasan yang relevan dengan keamanan di dalam alat OSS LLM-eval/red-teaming yang banyak digunakan: menonaktifkan eksekusi JS inline dalam eval mengurangi permukaan eksekusi kode bergaya injeksi prompt, sementara strategi encoding baru memperluas cakupan red-team untuk deteksi bypass-dan-bypass (serangan berbasis encoding).
Cakupan penerapan
Tim yang menjalankan promptfoo untuk evaluasi LLM dan red-teaming harus mengunci/meningkatkan versi dan meninjau perubahan breaking serta mengaktifkan safe-mode dan strategi encoding baru untuk pengujian injeksi prompt.