Penjelasan teknis
SGLang, salah satu server inferensi LLM open-source yang paling banyak digunakan (digunakan untuk DeepSeek-R1, GLM-4, dan model populer lainnya), melakukan deserialisasi byte yang dikontrol penyerang melalui dill.loads() ketika flag fitur --enable-custom-logit-processor diatur. Karena dill mengeksekusi metode __reduce__ dari setiap objek selama deserialisasi, satu POST HTTP ke endpoint /generate yang berisi field sampling_params.custom_logit_processor yang dirancang dengan cermat memicu eksekusi perintah OS arbitrer di dalam GPU inference worker sebelum satu token pun diambil. Tidak ada autentikasi yang diperlukan. Panduan penerapan resmi untuk DeepSeek-R1 pada Docker, SkyPilot, dan AWS SageMaker merekomendasikan --host 0.0.0.0 dan flag fitur, membuat banyak instans produksi langsung terekspos ke internet.
Vektor serangan
Penyerang mengirim satu POST HTTP ke /generate (atau endpoint OpenAI-compatible /v1/completions) dengan payload dill yang dikodekan heksadesimal dalam sampling_params.custom_logit_processor. Payload berfungsi pada deserialisasi sebelum pemrosesan prompt apa pun; tidak ada autentikasi, tidak ada batas laju, dan tidak ada akses sebelumnya ke sistem yang diperlukan pada penerapan yang menghadap internet secara default.
Sistem yang terdampak
Server inferensi SGLang dimulai dengan --enable-custom-logit-processor. Sangat berisiko: penerapan DeepSeek-R1 dan GLM-4 produksi yang mengikuti dokumentasi resmi; kluster penelitian dan instans GPU cloud yang terekspos di semua antarmuka seperti yang direkomendasikan oleh contoh Docker compose. Penyerang mendapatkan hak istimewa dari proses inference worker (sering kali root dalam kontainer).
Mitigasi
Nonaktifkan --enable-custom-logit-processor kecuali benar-benar diperlukan. Jika diperlukan: batasi endpoint /generate di balik autentikasi dan kontrol jaringan sehingga hanya pemanggil terpercaya yang dapat menjangkaunya; ganti deserialisasi dill dengan mekanisme loading processor yang diizinkan daftar putih, diverifikasi tanda tangan, dan dibatasi panjang. Audit semua penerapan SGLang untuk eksposur internet pada port 30000.