vLLM — 提示嵌入有效负载与 M-RoPE 模型导致 EngineCore 崩溃

vLLM EngineCore 中的未处理断言失败由纯提示嵌入输入与 M-RoPE 多模态模型的特定组合触发，导致完整进程崩溃而不是优雅的请求级错误。

任何授权的 API 调用者的单个格式错误的请求致命地终止共享推理服务器，影响依赖该 vLLM 实例的所有租户和应用程序——针对多模态 LLM 服务基础设施的低努力拒绝服务矢量。

在使用 M-RoPE 的模型上的 /v1/completions 请求中发送纯提示嵌入有效负载会导致 EngineCore 断言失败并致命崩溃，关闭整个 vLLM 服务器应用程序。任何有权调用完成端点的远程用户都可以触发它。

vLLM，版本 0.12.0 至（不包括）0.24.0

升级到 vLLM >= 0.24.0。