Apa yang terjadi
Pada 28 Oktober, CrowdStrike menerbitkan 'When AI Guardrails Expose Vulnerabilities,' yang menjelaskan Guardrail-based Vulnerability Discovery: memperlakukan penolakan guardrail model (atau gangguan latensi/token/bentuk output akibat penurunan model, pemfilteran, atau gangguan penalaran) sebagai sinyal kerentanan yang terlokalisasi, dikombinasikan dengan bisection untuk menemukan pemicunya. Dalam pengujian terkontrol pada lima kelas kerentanan, metode ini benar dalam 73 dari 86 skenario dan bertahan pada proyek open-source nyata yang diungkapkan melalui program CVD-nya.
Mengapa penting
Ini membingkai ulang guardrail keamanan LLM — biasanya dilihat sebagai pembatas — sebagai sinyal ofensif yang dapat dibaca oleh pembela dan penyerang untuk menemukan kerentanan, secara efektif mengubah fitur keamanan menjadi teknik pencarian bug. Ini memberi tim keamanan metodologi baru yang tidak bergantung pada harness untuk memburu kerentanan kode dengan model frontier.
Cakupan penerapan
Tim AppSec dan red team yang mengeksplorasi penemuan kerentanan berbantuan LLM harus mempelajari metodologi ini dan biasnya terhadap penemuan kelas yang 'diperhatikan' model, sambil menyadari bahwa sinyal yang sama tersedia bagi penyerang.