Apa yang terjadi
Rejection sampler vLLM untuk speculative decoding tidak melakukan bound-check nilai indeks token batas sebelum konversi, jadi beban kerja multi-permintaan yang terbentuk secara legal dapat memicu crash seluruh proses serving.
Mengapa penting
Speculative decoding adalah fitur performa yang banyak digunakan dalam production LLM serving; input yang mengakibatkan crash dari penggunaan API biasa (tidak memerlukan crafting exploit di luar bentuk permintaan normal) dapat mematikan infrastruktur inferensi bersama yang melayani beberapa aplikasi hilir.
Vektor serangan
Beban kerja speculative decoding multi-permintaan yang legal frontend dapat menyebabkan rejection sampler menghasilkan token yang dipulihkan sama dengan nilai batas ukuran kosakata model; ketika nilai out-of-range ini dikonversi hilir, ia mengalami crash proses serving, memungkinkan pengguna jarak jauh dengan autentikasi atau tanpa autentikasi (tergantung deployment) untuk menolak layanan.
Sistem yang terdampak
Engine inferensi/serving vLLM, versi sebelum 0.24.0
Mitigasi
Tingkatkan ke vLLM >= 0.24.0.