AWS Machine Learning Blog· Sunita Nadampalli·· 2 小时前AI 评分51
vLLM 引入推送式 KV 传输，降低分离式推理的 TTFT 和 TPOT
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
AI 导读
vLLM 新增推送式 NIXL KV 连接器，通过提前注册目标块并在 prefill 侧后台准备传输，降低高负载下的 TTFT 和 TPOT。
来源：AWS Machine Learning Blog · aws.amazon.com