事件经过
vLLM 的推测解码拒绝采样器未对边界令牌索引值进行边界检查，就进行了转换，因此合法形成的多请求工作负载可能触发整个服务进程的崩溃。
影响分析
推测解码是生产 LLM 服务中广泛使用的性能功能；来自普通 API 使用（不需要超越正常请求形状的利用制造）的导致崩溃的输入可以摧毁为多个下游应用程序服务的共享推理基础设施。
攻击途径
前端合法的多请求推测解码工作负载可能导致拒绝采样器产生等于模型词汇表大小边界值的恢复令牌；当此超范围值在下游转换时，它会导致服务进程崩溃，允许远程认证或未认证用户（取决于部署）拒绝服务。
受影响系统
vLLM 推理/服务引擎，0.24.0 版本之前
缓解措施
升级到 vLLM >= 0.24.0。