Apa yang terjadi
Kegagalan assertion yang tidak ditangani dalam EngineCore vLLM dipicu oleh kombinasi spesifik input prompt-embeds murni terhadap model multimodal M-RoPE, menyebabkan crash proses penuh daripada error tingkat permintaan yang elegan.
Mengapa penting
Satu permintaan yang salah bentuk dari pemanggil API yang berwenang untuk secara fatal menghentikan server inferensi bersama, berdampak pada semua tenant dan aplikasi yang bergantung pada instance vLLM itu — vektor denial-of-service upaya rendah terhadap infrastruktur LLM multimodal serving.
Vektor serangan
Mengirim payload prompt-embeds murni dalam permintaan /v1/completions terhadap model yang menggunakan M-RoPE menyebabkan EngineCore gagal dalam assertion dan crash secara fatal, mematikan seluruh aplikasi server vLLM. Setiap pengguna jarak jauh yang berwenang untuk memanggil endpoint completions dapat memicunya.
Sistem yang terdampak
vLLM, versi 0.12.0 hingga (tidak termasuk) 0.24.0
Mitigasi
Tingkatkan ke vLLM >= 0.24.0.