Hugging Face Blog·· 2026-07-23精选AI 评分62
Diffusers 原生集成 Nunchaku 4-bit 扩散模型推理
Bringing Nunchaku 4-bit Diffusion Inference to Diffusers
AI 导读
Diffusers 现已原生集成 Nunchaku 的 SVDQuant 4 位扩散推理,预量化模型可通过 from_pretrained() 直接加载,无需本地 CUDA 编译。
推荐理由
给出了把 SVDQuant 4 位扩散推理接入 Diffusers 的完整工作流,并附 BF16 与量化版本的延迟和显存基准。
来源:Hugging Face Blog · huggingface.co