Hugging Face Blog·· 27 天前精选AI 评分68
Transformers 现已支持运行 llama.cpp 的 GGUF 量化模型
Transformers now runs llama.cpp quants
AI 导读
Hugging Face 在 transformers 中加入 GGUF 量化模型支持，用户可从 Hub 选取检查点并通过 from_pretrained 在本地加载生成。
推荐理由
原文给出了 GGUF 在 transformers 中的加载方式和对照 llama.cpp 的测量数据，便于评估本地量化推理的可用性。
来源：Hugging Face Blog · huggingface.co