vLLM — プロンプト埋め込みペイロードと M-RoPE モデルが EngineCore をクラッシュさせる

vLLM の EngineCore 内の未処理のアサーション失敗は、M-RoPE マルチモーダル モデルに対するピュア プロンプト埋め込み入力の特定の組み合わせによってトリガーされ、リクエストレベルのエラーの優雅な処理ではなく、完全なプロセスクラッシュを引き起こします。

認可された API 呼び出し元からの単一の不正なリクエストが共有推論サーバーを致命的に終了させ、そのvLLMインスタンスに依存するすべてのテナントとアプリケーションに影響を与える — マルチモーダルLLMサービングインフラストラクチャに対する低労力サービス拒否ベクトル。

M-RoPE を使用するモデルに対して /v1/completions リクエストでピュア プロンプト埋め込みペイロードを送信すると、EngineCore はアサーションに失敗して致命的にクラッシュし、vLLM サーバー アプリケーション全体をシャットダウンします。completions エンドポイントの呼び出しが認可されているリモート ユーザーは誰でもトリガーできます。

vLLM、バージョン 0.12.0 から 0.24.0 まで (0.24.0 を含まない)

vLLM >= 0.24.0 にアップグレードしてください。