vLLM Cohere2 Vision 요청 제어 max_patches로 인한 서비스 거부 (CWE-400)

vLLM 0.10.1부터 0.31.0 이전 버전에서, OpenAI 호환 Python 프론트엔드는 요청 제어 mm_processor_kwargs.max_patches 값을 서버 측 상한 없이 Cohere2 Vision 모델용 Hugging Face 프로세서로 전달합니다. 전처리 작업이 값에 따라 제곱으로 증가하고 클라이언트가 이를 변형하여 작은 LRU 캐시를 우회할 수 있으므로, 원격 클라이언트는 전처리 워커를 소진시키는 작은 이미지 채팅 완료 요청을 보내 다른 클라이언트에 대한 서비스 거부를 유발할 수 있습니다.

이는 널리 배포된 모델 서빙 엔진(기본 vLLM 서버는 API 키를 요구하지 않음)에 대한 인증 없는 원격 리소스 고갈 벡터로, Cohere2 Vision을 서빙하는 배포 환경에서 실질적인 서비스 거부를 가능하게 합니다. 이는 서버 측 제한 없이 요청 제어 계산 예산을 신뢰하는 AI 서빙의 일반적인 함정을 보여줍니다.

크고 변형된 mm_processor_kwargs.max_patches 값을 포함한 원격 인증 없는 이미지 채팅 완료 요청으로, 제곱 전처리 작업을 유발하여 워커를 고갈시킵니다.

vLLM 0.10.1 – 0.30.x (Cohere2 Vision 멀티모달 전처리 경로)

vLLM 0.31.0+로 업그레이드; Cohere2 Vision 모델을 서빙하는 경우 API 인증 및 속도/매개변수 제한 추가; 큰 max_patches 값을 가진 비정상적인 이미지 요청 기록 및 검토.