何が起きたか
SamplingParamsはstop_token_ids内の任意の整数を受け入れ、それらをモデルのロジットテンソルへの列インデックスとしてサンプラーに渡し、モデル語彙内にあることを検証しませんでした。語彙外のIDは、デバイス側のインデックスエラーを引き起こしてエンジン(V1)を終了させるか、V2ランナー内の範囲外Tritonストアを引き起こし、隣接するロジットや他のGPU状態を破損させる可能性があります。
なぜ重要か
OpenAIのチャット/完了、レガシー生成、バッチエンドポイントを介して単一のリクエストでトリガー可能であり、リモートの呼び出し元が共有サービングエンジンをクラッシュさせるか、GPU状態を破損させる可能性があります(CVSS 6.5)。
攻撃経路
語彙外のstop_token_ids値を含むリクエストを送信して、エンジンをクラッシュさせるか、GPU上で範囲外書き込みを行います。
影響を受けるシステム
vLLM 0.20.1以上、0.29.0未満。
緩和策
vLLM 0.29.0にアップグレードしてください(PR #54196で、サンプラーに到達する前にすべてのstop_token_ids値をモデル語彙に対して検証します)。