Penolakan layanan vLLM Cohere2 Vision melalui max_patches yang dikendalikan permintaan (CWE-400)

Pada vLLM dari 0.10.1 hingga sebelum 0.31.0, front-end Python yang kompatibel dengan OpenAI meneruskan nilai mm_processor_kwargs.max_patches yang dikendalikan permintaan ke prosesor Hugging Face untuk model Cohere2 Vision tanpa batas atas di sisi server. Karena pekerjaan prapemrosesan tumbuh secara kuadrat dengan nilai tersebut dan klien dapat memvariasikannya untuk melewati cache LRU kecil, klien jarak jauh dapat mengirim permintaan chat-completion gambar kecil yang menghabiskan worker prapemrosesan dan menolak layanan ke klien lain.

Ini adalah vektor penipisan sumber daya jarak jauh tanpa autentikasi terhadap mesin penyajian model yang banyak digunakan (server vLLM default tidak memerlukan API key), memungkinkan penolakan layanan praktis pada deployment yang menyajikan Cohere2 Vision. Ini mencontohkan jebakan penyajian AI yang mempercayai anggaran komputasi yang dikendalikan permintaan tanpa batasan sisi server.

Permintaan chat-completion gambar jarak jauh tanpa autentikasi dengan nilai mm_processor_kwargs.max_patches yang besar dan bervariasi, memicu pekerjaan prapemrosesan kuadrat yang membuat worker kelaparan.

vLLM 0.10.1 – 0.30.x (jalur prapemrosesan multimodal Cohere2 Vision)

Tingkatkan ke vLLM 0.31.0+; tambahkan autentikasi API dan batas laju/parameter jika Anda menyajikan model Cohere2 Vision; log dan tinjau permintaan gambar anomali dengan nilai max_patches besar.