Konverter gRPC Rust vLLM melewati batas max_logprobs melalui CandidateTokens.top_n

Konverter gRPC Rust vLLM gagal menegakkan batas max_logprobs saat menangani CandidateTokens.top_n. Pemanggil dapat mengirim request Generate atau GenerateStream dengan nilai top_n yang terlalu besar atau melilit integer yang melewati batas yang dimaksudkan dan mencapai pemrosesan hilir.

Memungkinkan pemanggil jarak jauh melebihi batas logprobs yang dikonfigurasi, yang dapat menghabiskan sumber daya berlebihan dan mengganggu stabilitas engine serving (CVSS 5.9, CWE-20).

Kirim request Generate/GenerateStream dengan CandidateTokens.top_n yang terlalu besar atau melilit integer untuk melewati batas max_logprobs.

vLLM >= 0.22.0, < 0.24.0 (konverter gRPC Rust).

Tingkatkan ke vLLM 0.24.0.