跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

最新精选

第 1–20 条 · 共 21 条
10月8日周四
  1. Microsoft Research70

    微软研究院开源 Agent Lightning v1.0:约 3,500 行的轻量级 Agentic RL 训练框架

    微软研究院开源 Agent Lightning v1.0:一套约 3,500 行的轻量级 Agentic RL 训练框架,主张用真实 harness 训练,复用部署侧 agent 循环接入 RL,无需重写 agent。

    推荐理由:把训练与部署统一在同一套 agent harness 上,约 3,500 行代码加 6,000 条样本就让 Qwen3.5-9B 在 SWE-bench Verified 提升 14.6 个百分点,为低门槛复现 agent RL 提供了完整路径。

10月2日周五
10月1日周四
9月26日周六
9月23日周三
  1. AWS Machine Learning Blog67

    GPT-6 Sol 和 GPT-6 Luna 在 Amazon Bedrock 正式可用

    OpenAI 的 GPT-6 Sol 和 GPT-6 Luna 已在 Amazon Bedrock 正式可用,API 定价显著低于前代 GPT-5.6。GPT-6 Sol 面向编码、调试和跨工具多步流程等复杂任务,OpenAI 内部事实性评估显示其事实性错误约为 GPT-5.6 Sol 的一半;GPT-6 Luna 面向高并发的信息抽取、摘要和分类,可按请求调整推理强度。

    推荐理由:两个新模型以低于 GPT-5.6 的 API 定价上线 Bedrock,读者可据此比较不同任务层级的模型与成本取舍。

9月22日周二
9月17日周四
9月10日周四
  1. Hugging Face Blog64

    在 HF Jobs 上跑 Async GRPO + LoRA:一个 bucket、一个 proxy、不依赖 NCCL

    TRL v1.14 的 AsyncGRPOTrainer 新增 LoRA 支持,rank-1 适配器只有几 MB,经 HF Jobs 的 Storage Bucket 即可同步到 vLLM,避免在节点间搬运 3 GB 整模型。

    推荐理由:把训练与推理拆到独立机器上的可复用方案与逐轮瓶颈定位方法,对搭异步 RL 流水线的读者有直接参考价值。

  2. Hugging Face Blog65

    用 Gradio Workflow 重建 AUTOMATIC1111 媒体管线

    Gradio 团队用 73 个节点、11 条媒体管线在 Workflow1111 中复刻了 AUTOMATIC1111 的核心功能集,涵盖文生图、高清修复、图生图、提示词矩阵、VLM 反推、检测生成 inpaint 掩码、ControlNet 预处理器、背景移除、PNG Info 与图生视频。

    推荐理由:原文以 73 节点重建 AUTOMATIC1111 为例,展示 gr.Workflow 在多模型编排上与 ComfyUI 的差异,以及每个输出自动成为 REST 端点和 MCP 工具的能力。

9月1日周二
  1. Hugging Face Blog69

    Hugging Face 发布 @huggingface/kernels 库与 Fleet 浏览器基准工具,首批开源 207 个 WebGPU 内核

    Hugging Face 发布 @huggingface/kernels JavaScript 库与 Fleet 浏览器基准测试工具,首批开源 207 个 Apache-2.0 许可的 WebGPU 内核,每个内核以独立仓库形式托管在 Hub 上,包含 manifest、正确性用例、基准用例与 WGSL 着色器模板。

    推荐理由:对比了在 Apple M4 上与 ORT WebGPU 的逐操作基准数据,读者可据此评估优化 WebGPU 内核对浏览器推理的实际收益。

8月25日周二
  1. Hugging Face Blog65

    Gradio 新增 gr.Workflow,将 AI 流水线变成可视化画布并一键部署到 Spaces

    Gradio 内置 gr.Workflow,可将多步骤 AI 流水线描述为带类型的节点图,并自动生成拖拽式画布、REST API 与一键部署到 Hugging Face Spaces。

    推荐理由:原文把流水线抽象为带类型的节点图,对比当前 print 调试写法,可看到同一份图同时覆盖画布、REST API 与 Spaces 一键发布。

8月11日周二
  1. Hugging Face Blog61

    NVIDIA Magpie TTS 多语种版发布,主打开源权重与全栈部署控制

    NVIDIA 发布开源 364M 参数的 Magpie 多语种 TTS 模型,支持 12 种语言,包括本次新增的现代标准阿拉伯语、韩语和巴西葡萄牙语。

    推荐理由:对比 B200、H100、A100 上的首音频延迟数据,并介绍 frame stacking 与 local transformer 两项推理优化思路,可用于自有基础设施上的语音智能体部署。

7月23日周四
7月15日周三
  1. Hugging Face Blog73

    Thinking Machines 开源 1T 参数多模态模型 Inkling,支持图像文本音频输入

    Thinking Machines 开源 1T 参数多模态大模型 Inkling,原生支持图像、文本和音频输入及 1M 上下文,采用 decoder-only MoE 架构(975B 总参数、41B 激活),同步提供 BF16 与 NVFP4 两个权重版本。

    推荐理由:原文给出 Inkling 的 MoE 架构细节与多模态能力范围,并附 transformers、SGLang、vLLM 多框架部署示例和主流模型基准对比,方便评估其工程落地方案。

7月8日周三
  1. Hugging Face Blog74

    transformers vLLM 推理后端现已达原生实现速度

    Hugging Face 宣布 transformers 在 vLLM 中的推理后端现已在多种架构上跑出与 vLLM 原生手写实现持平或更快的吞吐,模型作者只需通过 `--model-impl transformers` 即可启用,无需再为每个新模型单独移植。

    推荐理由:transformers 模型现可在 vLLM 中跑出与原生手写实现持平甚至更快的推理吞吐,模型作者无需再为每个新架构单独移植实现代码。

7月7日周二
  1. Hugging Face Blog64

    SkyPilot 与 Hugging Face Storage 打通:跨云运行 AI 任务且数据读取免出站费用

    Hugging Face 与 SkyPilot 联合发布 store: hf 后端,SkyPilot 任务可通过 hf:// URL 把 Hugging Face Bucket 或 Hub 仓库挂载为本地路径,在 20 多个云以及 Kubernetes、Slurm、本地集群的 GPU 上运行,读取模型与数据集免出站流量与 CDN 费用。

    推荐理由:Hugging Face Storage 接入 SkyPilot 后,模型和数据集留在 Hub,由 SkyPilot 在多个云上调度 GPU 任务,读取端免出站流量费。

3月18日周三
12月9日周二