rendering template obrolan Jinja vLLM — remote resource-consumption DoS

Endpoint chat-completions vLLM memungkinkan nilai chat_template yang disuplai jarak jauh untuk mendorong konsumsi sumber daya yang tidak terkontrol selama rendering Jinja, risiko denial-of-service pada infrastruktur penyajian bersama.

Konsisten dengan pola yang lebih luas dari masalah resource-exhaustion vLLM siklus ini, ini mempengaruhi setiap penerapan vLLM kompatibel OpenAI multi-penyewa yang memungkinkan pemanggil mempengaruhi template obrolan, risiko ketersediaan untuk semua penyewa pada instans tersebut.

Pemanggil jarak jauh dapat memanipulasi argumen chat_template yang dilewatkan ke /v1/chat/completions untuk menyebabkan konsumsi sumber daya yang berlebihan selama rendering template Jinja, menurunkan layanan inferensi bersama.

vllm-project vLLM, versi hingga 0.27.1

Lacak dan terapkan perbaikan vLLM hulu; sementara itu, batasi siapa yang dapat menetapkan nilai chat_template kustom pada endpoint multi-penyewa dan terapkan batas sumber daya tingkat permintaan.