Hugging Face 提出 Quantization-Aware Healing:4-bit 压缩模型在 9 项评测中 7 项超越全精度原版
Hugging Face 论文提出 Quantization-Aware Healing(QAH):将 GPT-OSS 120B 结构压缩至 60B 参数并量化到 MXFP4 后。
Hugging Face 论文提出 Quantization-Aware Healing(QAH):将 GPT-OSS 120B 结构压缩至 60B 参数并量化到 MXFP4 后。
Gradio 内置 gr.Workflow,可将多步骤 AI 流水线描述为带类型的节点图,并自动生成拖拽式画布、REST API 与一键部署到 Hugging Face Spaces。
推荐理由:原文把流水线抽象为带类型的节点图,对比当前 print 调试写法,可看到同一份图同时覆盖画布、REST API 与 Spaces 一键发布。
Mistral 与 HUMAIN 宣布战略合作,覆盖 AI 基础设施、先进模型开发及沙特与区域内 AI 解决方案部署,规模达数亿欧元。初始重点为网络安全与语音,双方还计划开发在阿拉伯语上表现强劲的前沿模型,Mistral 将探索使用 HUMAIN 的数据中心基础设施。双方还计划在沙特推出联合 go-to-market 策略,面向受监管行业。
Import AI 470 收录 METR 的 AI 加速科学发现分析,以及 SPADE 和 Hawkeye 两项工作。METR 发现 AI 对网络安全漏洞发现的加速最明显,数学研究仅小幅加速,AI 研究本身几乎测不到加速。SPADE 让 LLM 自博弈生成可执行训练环境,在 Qwen3-30B-A3B-Instruct-2507 上把游戏环境套件平均分提到 58.3,较基线高 8.1。
Hugging Face 博客详解 Papers with Code 搜索系统的混合检索架构:Jobs 跑离线批量嵌入、Inference Endpoint 处理在线查询、Storage Bucket 衔接计算与生产,再由 PostgreSQL 全文检索与 pgvector 通过 RRF 融合结果。
Hugging Face 提出一套约束感知 GPU 调度器,在七组基准上与 FIFO 调度器对比,在相同硬件与负载下将 GPU 利用率最多提升 33 个百分点(52–85% 升至 72–88%),优先级加权产出在全部场景中上升 24.6%–105.1%。
Mistral 宣布区域推理端点正式可用、优先级服务层进入公测,并将平台开放给第三方开源模型,首个接入的是 Z.ai 的 GLM-5.2。区域端点让客户选择推理在欧洲还是美国运行并保持数据驻留,优先级服务层提供定制速率限制并配有可用性 SLA。Mistral 还联合一批企业以多年期承诺形成欧洲算力单位(ECU),目标到 2030 年建成最高 1 GW 容量。
NVIDIA 发布开源 364M 参数的 Magpie 多语种 TTS 模型,支持 12 种语言,包括本次新增的现代标准阿拉伯语、韩语和巴西葡萄牙语。
推荐理由:对比 B200、H100、A100 上的首音频延迟数据,并介绍 frame stacking 与 local transformer 两项推理优化思路,可用于自有基础设施上的语音智能体部署。
Baseten 上线成为 Hugging Face Hub 的 Inference Provider,首批支持 Kimi K3、DeepSeek V4 Flash、GLM-5.2 等开源大语言模型的对话与文本生成推理。
GPU 利用率正取代模型能力,成为 AI 基础设施的下一个硬约束。文章以航空业飞机利用率作类比:GPU 成本按日历小时累计(折旧、能耗、散热),产出却只按算力小时计算;集群 GPU 即便在跑,大部分仍处于闲置浪费状态。企业从 API 转向自建集群只是把可变成本换成固定资本支出,真正的问题变成集群上线后能否让硬件持续满载运行。
UC Berkeley Sky Lab 为 K-Search 内核搜索框架加入 MLX 后端,用结构化 CUDA-to-MLX 翻译层把已有 CUDA kernel 迁移到 Apple Silicon。
Diffusers 现已原生集成 Nunchaku 的 SVDQuant 4 位扩散推理,预量化模型可通过 from_pretrained() 直接加载,无需本地 CUDA 编译。
推荐理由:给出了把 SVDQuant 4 位扩散推理接入 Diffusers 的完整工作流,并附 BF16 与量化版本的延迟和显存基准。
Thinking Machines 开源 1T 参数多模态大模型 Inkling,原生支持图像、文本和音频输入及 1M 上下文,采用 decoder-only MoE 架构(975B 总参数、41B 激活),同步提供 BF16 与 NVFP4 两个权重版本。
推荐理由:原文给出 Inkling 的 MoE 架构细节与多模态能力范围,并附 transformers、SGLang、vLLM 多框架部署示例和主流模型基准对比,方便评估其工程落地方案。
Hugging Face 博客发布 PyTorch 性能分析系列第三篇,演示如何用 profiler trace 读懂 attention 各种实现的 GPU 行为。
Mistral Studio 为 Prompts 和 Skills 推出 system of record 管理能力,支持不可变版本、回滚、分类标签与审计日志,每项资产有明确负责人。
Hugging Face 宣布 transformers 在 vLLM 中的推理后端现已在多种架构上跑出与 vLLM 原生手写实现持平或更快的吞吐,模型作者只需通过 `--model-impl transformers` 即可启用,无需再为每个新模型单独移植。
推荐理由:transformers 模型现可在 vLLM 中跑出与原生手写实现持平甚至更快的推理吞吐,模型作者无需再为每个新架构单独移植实现代码。
Hugging Face 与 Amazon SageMaker AI 推出一键跳转集成,在支持的模型页面提供「Customize on SageMaker AI」和「Deploy on SageMaker AI」按钮,可直接进入 SageMaker Studio 对应页面。
Microsoft 在 Foundry 模型目录上线 Hugging Face 开源模型集合,每周刷新预托管在 Azure 的开源权重,可一键部署到 Foundry Managed Compute。
UC Berkeley 的 Aditya G. Parameswaran 等人发布观点文章,提出推理成本趋近于零后,数据系统需围绕「为智能体、运行智能体、由智能体构建」三个方向重新设计。
Hugging Face 与 SkyPilot 联合发布 store: hf 后端,SkyPilot 任务可通过 hf:// URL 把 Hugging Face Bucket 或 Hub 仓库挂载为本地路径,在 20 多个云以及 Kubernetes、Slurm、本地集群的 GPU 上运行,读取模型与数据集免出站流量与 CDN 费用。
推荐理由:Hugging Face Storage 接入 SkyPilot 后,模型和数据集留在 Hub,由 SkyPilot 在多个云上调度 GPU 任务,读取端免出站流量费。
NVIDIA 研究者推出 ENPIRE 框架,让编码智能体通过自动评估与重置机制自主改进物理机器人策略。该系统在 PushT、整理针盒、剪扎带等灵巧操作任务上达到 99% 成功率,其中 GPT-5.5(Codex)与 Opus 4.7(Claude Code)表现相当,Kimi-2.6 落后。Matthew Tokson 在 SSRN 论文中指出,人类既一贯低估技术突破,又常误判其社会影响。
Google Research 宣布在 Pixel 9 和 10 系列上为冻结的 Gemini Nano v3 模型附加 MTP 头,在不重训骨干的前提下获得 50% 以上的端侧推理加速。
Google Research 在 CIDR 发表论文提出 linear elastic caching,将页面逐出问题建模为 ski rental 问题,借助浅层决策树为每个页面预测最优 TTL。
Mistral 在 AI Now Summit 2026 上推出 Mistral for Industrial Engineering 工业 AI 栈,已与 Airbus、BMW、ASML 在航空航天、汽车、半导体领域展开合作。智能体 Vibe 升级为长任务统一代理,可处理编码、深度研究与日程编排等多步工作;法国 Les Ulis 新建 10 MW 推理数据中心计划 2026 年 Q3 投产。
Mistral AI 在 Studio 中公测 Workflows,把持久执行、可观测性、人工审批和容错整合为单一编排层。底层基于 Temporal 持久执行引擎并扩展了流式、多租户等 AI 能力,控制面由 Mistral 托管,worker 通过 Helm chart 部署在企业自有 Kubernetes。
Google DeepMind 发布论文提出 Decoupled DiLoCo,一种把训练拆分为解耦计算岛屿、岛屿间以异步数据流通信的分布式架构,可在跨数据中心的条件下训练 LLM,带宽需求更低且硬件容错性更强。
Google DeepMind 与 Accenture、Bain、BCG、Deloitte、McKinsey 合作,加速企业 AI 与智能体转型。三大支柱为:面向金融、制造、零售、媒体娱乐等行业共建规模化 AI 方案,伙伴可提前使用 Gemini 系列前沿模型,DeepMind 领导层对接客户 CEO 与董事会。
Mistral AI 团队设计的内部 CLI 工具 Spaces 支持项目脚手架、开发环境启动与 staging 部署。团队在实践中发现 AI 智能体无法解析交互式提示中的 ANSI 转义码,因此为每个交互问题都设置对应的 flag 输入选项;结合插件化架构与自动生成的 context.json 和 AGENTS.md,AI 智能体可基于结构化数据自主完成从配置到部署的全流程。
Google Research 发布向量压缩算法 TurboQuant,称可在零精度损失下实现 KV cache 与向量搜索的极致压缩。该方法由 PolarQuant 与 QJL 两步组成,将于 ICLR 2026 公布。测试覆盖 LongBench、Needle In A Haystack、RULER 等长上下文基准,基于 Gemma 和 Mistral 等开源 LLM 验证。
Google Research 与英国 NHS 合作在 Nature Cancer 发表两项配套研究,评估 AI 系统用于乳腺癌筛查的表现。
推荐理由:原文给出大规模前瞻部署的检出率与阅片量数据,并对比双读流程的效率变化,可作为评估 AI 辅助医学影像筛查能否落地的量化参考。
Mistral AI 发布企业级模型定制平台 Forge,允许企业基于内部文档、代码库和运营数据训练专属 AI 模型,覆盖预训练、后训练与强化学习全流程,并支持 dense 与 MoE 架构及多模态输入。
Mistral AI 团队在 Mistral Medium 3.1 的 Prefill/Decode 分离推理部署中发现 vLLM 存在约每分钟 400 MB 的内存泄漏,经 Heaptrack、pmap、BPFtrace 和 GDB 自动化断点逐层排查,最终定位到 UCX 通过 GOT 改写拦截所有 mmap 调用导致 RSS 持续增长。
Mistral 发布 Devstral 2(123B)与 Devstral Small 2(24B)两款开源编程模型,同步推出 Mistral Vibe CLI 命令行代理。
推荐理由:Devstral 2 在 SWE-bench Verified 上取得 72.2%,并给出相对 Claude Sonnet 的 7 倍成本效率数据。
Mistral AI 发布面向企业团队的生产级 AI 平台 Mistral AI Studio,整合可观测性(Observability)、Agent Runtime 与 AI Registry 三大模块,覆盖 prompts、模型、数据集与 judges 的版本管理与溯源。
Mistral AI 推出全栈 AI 基础设施产品 Mistral Compute,提供从裸金属服务器到全托管 PaaS 的私有集成栈,涵盖 GPU、编排、API 与服务。
Mistral 推出面向企业的 AI 编码助手 Mistral Code,整合 Codestral、Codestral Embed、Devstral 和 Mistral Medium 四款模型,支持云端、专属容量及本地 GPU 部署,并允许客户在私有代码库上微调或蒸馏轻量模型。
Mistral AI 发布 Mistral Medium 3,定位中型尺寸企业模型,定价 $0.4 输入 / $2 输出每 M token,在多项基准上达到或超过 Claude Sonnet 3.7 的 90%,并超越 Llama 4 Maverick 与 Cohere Command A,成本也低于 DeepSeek v3。
推荐理由:原文同时给出相对 Claude Sonnet 3.7、Llama 4 Maverick 的性能对照与 $0.4 / $2 每 M token 的价格,可作为中型模型选型的成本与性能参考。