跳到正文

#部署/工程

今日 0 条
9月16日周三
  1. NVIDIA Blog48

    Emerald AI、Google 与 NVIDIA 发起 AI Energy Management Alliance(AEMA),推进柔性 AI 数据中心

    Emerald AI、Google 与 NVIDIA 联合发起 AEMA 联盟,推动可动态响应电网状况的 AI 数据中心。联盟采用技术中立、基于性能的标准,考核响应速度、持续时间、可预测性和紧急状态行为等指标。创始成员覆盖 AI 平台、基础设施提供商、数据中心运营商、电力生产商、公用事业和区域电网运营商。

  2. Google Research42

    Google Research:Retrieve-for-Train 如何绕过推理瓶颈,加速复杂 AI 搜索

    Google Research 提出 Retrieve-for-Train 框架,用离线强化学习发现奖励对齐的 fan-out 并编译为监督数据,再蒸馏进 53.9M 参数的扩散检索器,推理时单次非自回归生成完整查询集合,无需消耗 CoT 思考 token。该框架的 fan-out 语言模型基于 4B 开源模型 Gemma3-4B 与 Qwen3-4B 微调,论文发表于 ICML 2026。

9月11日周五
9月10日周四
  1. Mistral AI39

    Cloudera 与 Mistral 达成合作,为企业数据带来专用、主权 AI

    Mistral 与 Cloudera 宣布合作,将 Mistral 模型集成进 Cloudera 混合数据平台,支持企业在私有云、公有云、本地及完全气隙环境部署推理。企业可在受控环境内用专有数据训练自有模型,Cloudera 平台上承载 30 exabytes 客户管理数据。双方称该合作瞄准主权 AI 需求:数据、智能、算力与运营由客户掌控,模型以开放权重被适配和拥有。

  2. Hugging Face Blog64

    在 HF Jobs 上跑 Async GRPO + LoRA:一个 bucket、一个 proxy、不依赖 NCCL

    TRL v1.14 的 AsyncGRPOTrainer 新增 LoRA 支持,rank-1 适配器只有几 MB,经 HF Jobs 的 Storage Bucket 即可同步到 vLLM,避免在节点间搬运 3 GB 整模型。

    推荐理由:把训练与推理拆到独立机器上的可复用方案与逐轮瓶颈定位方法,对搭异步 RL 流水线的读者有直接参考价值。

  3. Hugging Face Blog65

    用 Gradio Workflow 重建 AUTOMATIC1111 媒体管线

    Gradio 团队用 73 个节点、11 条媒体管线在 Workflow1111 中复刻了 AUTOMATIC1111 的核心功能集,涵盖文生图、高清修复、图生图、提示词矩阵、VLM 反推、检测生成 inpaint 掩码、ControlNet 预处理器、背景移除、PNG Info 与图生视频。

    推荐理由:原文以 73 节点重建 AUTOMATIC1111 为例,展示 gr.Workflow 在多模型编排上与 ComfyUI 的差异,以及每个输出自动成为 REST 端点和 MCP 工具的能力。

9月3日周四
9月1日周二
  1. Hugging Face Blog69

    Hugging Face 发布 @huggingface/kernels 库与 Fleet 浏览器基准工具,首批开源 207 个 WebGPU 内核

    Hugging Face 发布 @huggingface/kernels JavaScript 库与 Fleet 浏览器基准测试工具,首批开源 207 个 Apache-2.0 许可的 WebGPU 内核,每个内核以独立仓库形式托管在 Hub 上,包含 manifest、正确性用例、基准用例与 WGSL 着色器模板。

    推荐理由:对比了在 Apple M4 上与 ORT WebGPU 的逐操作基准数据,读者可据此评估优化 WebGPU 内核对浏览器推理的实际收益。

8月25日周二
  1. Hugging Face Blog65

    Gradio 新增 gr.Workflow,将 AI 流水线变成可视化画布并一键部署到 Spaces

    Gradio 内置 gr.Workflow,可将多步骤 AI 流水线描述为带类型的节点图,并自动生成拖拽式画布、REST API 与一键部署到 Hugging Face Spaces。

    推荐理由:原文把流水线抽象为带类型的节点图,对比当前 print 调试写法,可看到同一份图同时覆盖画布、REST API 与 Spaces 一键发布。

  2. Mistral AI44

    Mistral 与 HUMAIN 宣布战略合作,推进沙特及中东主权 AI

    Mistral 与 HUMAIN 宣布战略合作,覆盖 AI 基础设施、先进模型开发及沙特与区域内 AI 解决方案部署,规模达数亿欧元。初始重点为网络安全与语音,双方还计划开发在阿拉伯语上表现强劲的前沿模型,Mistral 将探索使用 HUMAIN 的数据中心基础设施。双方还计划在沙特推出联合 go-to-market 策略,面向受监管行业。

8月21日周五
8月18日周二
8月11日周二
  1. Mistral AI53

    Mistral 上线区域推理端点与优先级服务层,平台将接入 GLM-5.2

    Mistral 宣布区域推理端点正式可用、优先级服务层进入公测,并将平台开放给第三方开源模型,首个接入的是 Z.ai 的 GLM-5.2。区域端点让客户选择推理在欧洲还是美国运行并保持数据驻留,优先级服务层提供定制速率限制并配有可用性 SLA。Mistral 还联合一批企业以多年期承诺形成欧洲算力单位(ECU),目标到 2030 年建成最高 1 GW 容量。

  2. Hugging Face Blog61

    NVIDIA Magpie TTS 多语种版发布,主打开源权重与全栈部署控制

    NVIDIA 发布开源 364M 参数的 Magpie 多语种 TTS 模型,支持 12 种语言,包括本次新增的现代标准阿拉伯语、韩语和巴西葡萄牙语。

    推荐理由:对比 B200、H100、A100 上的首音频延迟数据,并介绍 frame stacking 与 local transformer 两项推理优化思路,可用于自有基础设施上的语音智能体部署。

8月6日周四
7月30日周四
  1. Hugging Face Blog35

    GPU 管理分析:为什么闲置 GPU 成了 AI 算力的新瓶颈

    GPU 利用率正取代模型能力,成为 AI 基础设施的下一个硬约束。文章以航空业飞机利用率作类比:GPU 成本按日历小时累计(折旧、能耗、散热),产出却只按算力小时计算;集群 GPU 即便在跑,大部分仍处于闲置浪费状态。企业从 API 转向自建集群只是把可变成本换成固定资本支出,真正的问题变成集群上线后能否让硬件持续满载运行。

7月29日周三
7月23日周四
7月15日周三
  1. Hugging Face Blog73

    Thinking Machines 开源 1T 参数多模态模型 Inkling,支持图像文本音频输入

    Thinking Machines 开源 1T 参数多模态大模型 Inkling,原生支持图像、文本和音频输入及 1M 上下文,采用 decoder-only MoE 架构(975B 总参数、41B 激活),同步提供 BF16 与 NVFP4 两个权重版本。

    推荐理由:原文给出 Inkling 的 MoE 架构细节与多模态能力范围,并附 transformers、SGLang、vLLM 多框架部署示例和主流模型基准对比,方便评估其工程落地方案。

7月10日周五
7月9日周四
7月8日周三
  1. Hugging Face Blog74

    transformers vLLM 推理后端现已达原生实现速度

    Hugging Face 宣布 transformers 在 vLLM 中的推理后端现已在多种架构上跑出与 vLLM 原生手写实现持平或更快的吞吐,模型作者只需通过 `--model-impl transformers` 即可启用,无需再为每个新模型单独移植。

    推荐理由:transformers 模型现可在 vLLM 中跑出与原生手写实现持平甚至更快的推理吞吐,模型作者无需再为每个新架构单独移植实现代码。

7月7日周二
  1. Hugging Face Blog64

    SkyPilot 与 Hugging Face Storage 打通:跨云运行 AI 任务且数据读取免出站费用

    Hugging Face 与 SkyPilot 联合发布 store: hf 后端,SkyPilot 任务可通过 hf:// URL 把 Hugging Face Bucket 或 Hub 仓库挂载为本地路径,在 20 多个云以及 Kubernetes、Slurm、本地集群的 GPU 上运行,读取模型与数据集免出站流量与 CDN 费用。

    推荐理由:Hugging Face Storage 接入 SkyPilot 后,模型和数据集留在 Hub,由 SkyPilot 在多个云上调度 GPU 任务,读取端免出站流量费。

6月27日周六
6月25日周四
5月28日周四
  1. Mistral AI42

    Mistral 在 AI Now Summit 2026 发布工业 AI 栈与升级版 Vibe 智能体

    Mistral 在 AI Now Summit 2026 上推出 Mistral for Industrial Engineering 工业 AI 栈,已与 Airbus、BMW、ASML 在航空航天、汽车、半导体领域展开合作。智能体 Vibe 升级为长任务统一代理,可处理编码、深度研究与日程编排等多步工作;法国 Les Ulis 新建 10 MW 推理数据中心计划 2026 年 Q3 投产。

4月27日周一
4月22日周三
4月21日周二
3月31日周二
  1. Mistral AI47

    Spaces:Mistral AI 为人类开发者与 AI 智能体设计的 CLI

    Mistral AI 团队设计的内部 CLI 工具 Spaces 支持项目脚手架、开发环境启动与 staging 部署。团队在实践中发现 AI 智能体无法解析交互式提示中的 ANSI 转义码,因此为每个交互问题都设置对应的 flag 输入选项;结合插件化架构与自动生成的 context.json 和 AGENTS.md,AI 智能体可基于结构化数据自主完成从配置到部署的全流程。

3月25日周三
  1. Google Research47

    TurboQuant:通过极致压缩重塑 AI 效率

    Google Research 发布向量压缩算法 TurboQuant,称可在零精度损失下实现 KV cache 与向量搜索的极致压缩。该方法由 PolarQuant 与 QJL 两步组成,将于 ICLR 2026 公布。测试覆盖 LongBench、Needle In A Haystack、RULER 等长上下文基准,基于 Gemma 和 Mistral 等开源 LLM 验证。

3月18日周三