事件经过
在vLLM 0.10.1至0.31.0之前版本中,OpenAI兼容的Python前端将请求控制的mm_processor_kwargs.max_patches值转发给Cohere2 Vision模型的Hugging Face处理器,而服务端没有上限。由于预处理工作随该值二次增长,且客户端可改变该值以绕过小型LRU缓存,远程客户端可发送小型图像聊天补全请求,耗尽预处理工作节点,从而拒绝其他客户端的服务。
影响分析
这是针对广泛部署的模型服务引擎的未认证远程资源耗尽向量(默认vLLM服务器不需要API密钥),允许对服务Cohere2 Vision的部署实现实际拒绝服务。它体现了AI服务中信任请求控制的计算预算而缺乏服务端限制的典型陷阱。
攻击途径
远程未认证图像聊天补全请求,带有大且变化的mm_processor_kwargs.max_patches值,触发二次预处理工作,使工作节点饥饿。
受影响系统
vLLM 0.10.1 – 0.30.x(Cohere2 Vision多模态预处理路径)
缓解措施
升级至vLLM 0.31.0以上版本;如果服务Cohere2 Vision模型,请添加API认证和速率/参数限制;记录并审查具有大max_patches值的异常图像请求。