Hugging Face Blog·· 3 小时前AI 评分52
VocabX 如何通过专门化 SLM 词表将实际推理成本降低 77%
How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications
AI 导读
Dharma-AI 的 VocabX 在保持 Qwen3-4B、数据和训练配方不变时,为葡萄牙语作文评分器重构词表,将实测推理成本降低 77.0%。在 RTX 5090 与 vLLM 上测试时,平均响应长度从 350 个 token 降至 101 个,输出层从约 152,000 行减至约 65,000 行,bench 分数从 0.703 升至 0.810。
来源:Hugging Face Blog · huggingface.co