vLLM — DoS Regex Timeout Tidak Dikompilasi melalui Parameter structured_outputs.regex

Fitur keluaran terstruktur vLLM mengompilasi regex yang disuplai pengguna ke dalam grammar decoding terkendali tanpa timeout apa pun, jadi regex yang dirancang dapat menggantung compiler grammar dan mengkonsumsi resource server tanpa batas, menolak layanan ke semua permintaan lain pada instance vLLM bersama.

vLLM mendukung inferensi LLM produksi untuk banyak organisasi; DoS jarak jauh tanpa autentikasi terhadap fitur keluaran terstruktur inti dapat mematikan cluster inferensi multi-tenant yang melayani banyak aplikasi AI hilir sekaligus.

Parameter API structured_outputs.regex melewatkan string ekspresi reguler yang disuplai pengguna langsung ke backend compiler grammar (misalnya xgrammar) tanpa timeout kompilasi, memungkinkan pemanggil jarak jauh tanpa autentikasi untuk mengirimkan regex catastrophic-backtracking yang menggantung compiler dan menolak layanan ke server inferensi bersama.

Engine inferensi/serving vLLM, versi sebelum 0.24.0

Tingkatkan ke vLLM >= 0.24.0, yang menambahkan timeout kompilasi ke penanganan regex keluaran terstruktur.