Hugging Face Blog·· 28 天前精选AI 评分64
Hugging Face 发布 tokenizers v1 候选版：单线程编码速度最高提升 30 倍
tokenizers v1: encode, decode and scaling, measured
AI 导读
Hugging Face 发布 tokenizers v1 发布候选版，相比 v0.23 在十种模型族上单线程编码速度提升 3 到 30 倍，跨 8 线程保持 76% 的线性扩展。
推荐理由
原文给出了 v0.23 到 v1 的实测对比与具体优化手段，可供负责训练或推理链路的工程师评估是否升级到候选版。
来源：Hugging Face Blog · huggingface.co