Hugging Face 新论文：如何让 LLM 知识蒸馏便宜到大规模运行

Hugging Face 新论文将 LLM 知识蒸馏峰值显存从约 250GB 降至约 128GB，方法是离线缓存教师模型 top-100 logits 并采用分块融合 KL 损失。该方案使单张 H200 即可完成长上下文知识蒸馏训练，无需再依赖数百张 GPU 与张量并行，让大规模实验更易开展。