Hugging Face Blog·· 2026-07-08精选AI 评分74
transformers vLLM 推理后端现已达原生实现速度
Native-speed vLLM transformers modeling backend
AI 导读
Hugging Face 宣布 transformers 在 vLLM 中的推理后端现已在多种架构上跑出与 vLLM 原生手写实现持平或更快的吞吐,模型作者只需通过 `--model-impl transformers` 即可启用,无需再为每个新模型单独移植。
推荐理由
transformers 模型现可在 vLLM 中跑出与原生手写实现持平甚至更快的推理吞吐,模型作者无需再为每个新架构单独移植实现代码。
来源:Hugging Face Blog · huggingface.co