Penjelasan teknis
Peneliti dari National University of Singapore dan ByteDance menerbitkan Heimdallr, kerangka kerja analisis hibrida yang mendeteksi risiko keamanan yang diperkenalkan oleh integrasi LLM dalam alur kerja GitHub CI. Studi ini mengkarakterisasi permukaan serangan baru: masukan yang dapat dikontrol secara eksternal (komentar issue, pull request) dapat membentuk prompt dan output LLM, yang pada gilirannya mempengaruhi keputusan keamanan, status repositori, atau eksekusi dengan hak istimewa. Heimdallr mencapai akurasi 99,8% dalam klasifikasi triggerability dan mengungkapkan 802 instance alur kerja yang rentan di seluruh 759 repositori.
Vektor serangan
Penyerang menanamkan teks yang dirancang ke dalam komentar issue GitHub atau deskripsi pull request. Ketika alur kerja CI menggabungkan teks ini ke dalam prompt LLM untuk tinjauan kode, pelabelan triage, atau keputusan penggabungan otomatis, penyerang dapat mengarahkan penalaran model, memanipulasi output yang dihasilkan, membocorkan rahasia melalui injeksi prompt, atau memicu tindakan berbahaya yang tidak dimaksudkan (misalnya, penggabungan otomatis kode berbahaya).
Sistem yang terdampak
Alur kerja GitHub CI yang mengintegrasikan LLM untuk tugas-tugas otomasi seperti triage issue, tinjauan pull request, pembuatan konten, atau pemeliharaan repositori. Tim peneliti melakukan pengungkapan bertanggung jawab atas 802 instance yang rentan dan menerima 71 pengakuan.
Mitigasi
Tim pengembangan harus memperlakukan output LLM dalam alur kerja CI sebagai data yang tidak terpercaya dan memerlukan validasi sebelum tindakan dengan hak istimewa. Terapkan sanitasi input yang ketat untuk teks yang dapat dikontrol secara eksternal, berlakukan persetujuan human-in-the-loop untuk keputusan yang penting secara keamanan, dan audit izin tool-use LLM untuk mencegah agen memanggil API yang diberi hak istimewa. Kerangka kerja Heimdallr tersedia bagi organisasi untuk memindai alur kerja CI mereka sendiri.