Reflection 开源 501B 参数 MoE 模型 Beam
Reflection 在 Hugging Face 上开源了 501B 参数的 MoE 大语言模型 Beam,每 token 激活 23B 参数,支持 1M 上下文窗口,许可证为 Apache 2.0。
推荐理由:文章把 501B 开源 MoE 模型的推理部署与 SFT/RL 后训练做法写成可复用的工程方案,适合计划自托管前沿模型的团队对照。
Reflection 在 Hugging Face 上开源了 501B 参数的 MoE 大语言模型 Beam,每 token 激活 23B 参数,支持 1M 上下文窗口,许可证为 Apache 2.0。
推荐理由:文章把 501B 开源 MoE 模型的推理部署与 SFT/RL 后训练做法写成可复用的工程方案,适合计划自托管前沿模型的团队对照。
NVIDIA 联合 AI4Bharat(IIT Madras)开源 Nemotron-pretraining-Indic-v1 印度语言预训练语料,覆盖 22 种印度语言共约 2.8 万亿 token,其中 12 种语言同时提供本族文字与罗马化版本。
推荐理由:原文给出了从翻译到质量筛选的完整生成流程与 75/100 阈值等具体参数,读者可据此复现或改造自己的多语种数据管线。
Allenai 发布开源训练框架 Olmo-core 3,将 MoE 训练栈从 FSDP 切换到 DDP,并支持 MXFP8 精度。该系统在专家池从 8 扩展到 128 时激活参数维持在约 3.2B,47B MoE 在 8 块 NVIDIA B300 上的吞吐量约为此前 FSDP 实现的 2.7×。
oMLX 创建者与维护者 Jun Kim 加入 Hugging Face,将继续以 Apache 2.0 许可全职领导 oMLX 项目。
NVIDIA 将 AI 安全定义为工程问题,主张在 Agent 栈每一层设置可执行边界、明确责任主体并保留可验证证据。其开源安全运行时 NVIDIA OpenShell 在 Agent 触及范围之外强制执行策略并提供沙箱化执行,Cisco DefenseClaw 在其上增加治理层,JFrog 则集成 OpenShell 扫描并校验 agent 技能。
Hugging Face 发布 tokenizers v1 发布候选版,相比 v0.23 在十种模型族上单线程编码速度提升 3 到 30 倍,跨 8 线程保持 76% 的线性扩展。
推荐理由:原文给出了 v0.23 到 v1 的实测对比与具体优化手段,可供负责训练或推理链路的工程师评估是否升级到候选版。
曼彻斯特大学团队用 NVIDIA Earth-2 的生成式模型 CorrDiff,在 Isambard-AI 上两天训练出覆盖全英、分辨率 2-3 平方公里的空气污染模型。
IBM Research 在 ALTK-Evolve 中加入一致性分析器和一致性指南模块,目标是缩小智能体跨次执行的稳定性差距。
推荐理由:文章揭示被平均准确率掩盖的智能体一致性差距,并给出基于单条轨迹即可定位易翻转决策点的诊断与稳定化方法。
Hugging Face 提出 BenchMIRT 方法,基于多维 IRT(MIRT)在提示词层面拆解 LLM 评测基准背后的能力信号。该方法在 100 个 LLM、16 个基准和 34K+ 题目上训练,独立恢复出"安全"与"通用推理"两个主导维度。分析显示 BBQ、WMDP 等安全类基准与通用推理关联更强,单一分数可能混合多种信号。
IBM 发布 Granite 4.2 推理模型家族,包含 3B/8B/30B 三个 dense decoder-only 模型,基于 Granite-4.1 基模型后训练并以 Apache 2.0 开源。
LiquidAI 为 LFM2.5 系列三款模型(1.2B-Instruct、2.6B、8B-A1B)发布 DSpark 推测解码草稿模型,在 H100 上推理吞吐量最高提升 3.18 倍,M4 Max MacBook 上最高 2.87 倍。
sentence-transformers v6.0 新增 MultiVectorEncoder 作为第四类模型,原生支持 PyLate、Stanford-NLP ColBERT 和 colpali-engine 检查点沿用同一套 API 加载。
推荐理由:原文给出从加载、MaxSim 打分到多种向量库落地的完整可运行代码,读者可对照把现有检索管线迁到 late interaction。
OlmoEarth Studio 新增自定义嵌入向量导出功能,可基于开源 OlmoEarth 基础模型按需计算并导出为轻量 Cloud-Optimized GeoTIFF(COG)。
Hugging Face 新论文将 LLM 知识蒸馏峰值显存从约 250GB 降至约 128GB,方法是离线缓存教师模型 top-100 logits 并采用分块融合 KL 损失。该方案使单张 H200 即可完成长上下文知识蒸馏训练,无需再依赖数百张 GPU 与张量并行,让大规模实验更易开展。
Pollen Robotics 在 Hugging Face Blog 发布开源系统 Grabette,用手持夹爪加相机和 IMU 记录人类操作演示,无需机器人本体即可产出可直接训练的数据。
Thinking Machines 开源 1T 参数多模态大模型 Inkling,原生支持图像、文本和音频输入及 1M 上下文,采用 decoder-only MoE 架构(975B 总参数、41B 激活),同步提供 BF16 与 NVFP4 两个权重版本。
推荐理由:原文给出 Inkling 的 MoE 架构细节与多模态能力范围,并附 transformers、SGLang、vLLM 多框架部署示例和主流模型基准对比,方便评估其工程落地方案。
LeRobot v0.6.0 发布,引入世界模型策略(VLA-JEPA、LingBot-VA、FastWAM)、统一奖励模型 API(Robometer、TOPReward)与六个仿真基准。
推荐理由:v0.6.0 把世界模型策略、奖励模型、六个仿真基准和 FSDP/云端训练打包到 LeRobot,可作为观察当前开源机器人学习栈能力面的一份参考。
Hugging Face 与 SkyPilot 联合发布 store: hf 后端,SkyPilot 任务可通过 hf:// URL 把 Hugging Face Bucket 或 Hub 仓库挂载为本地路径,在 20 多个云以及 Kubernetes、Slurm、本地集群的 GPU 上运行,读取模型与数据集免出站流量与 CDN 费用。
推荐理由:Hugging Face Storage 接入 SkyPilot 后,模型和数据集留在 Hub,由 SkyPilot 在多个云上调度 GPU 任务,读取端免出站流量费。
Mistral 发布面向 Lean 4 形式化验证的开源模型 Leanstral 1.5(Apache-2.0),共 119B 总参数、6B 激活参数。该模型在 miniF2F 验证与测试集均达 100%,在 PutnamBench 上解决 587/672 题,并在 FATE-H 与 FATE-X 上以 87% 与 34% 取得新 SOTA,单题成本约 $4。
Google Research 在 GitHub 开源水文建模框架,供各国气象水文部门(NMHS)在自有数据上训练和部署 AI 洪水预报模型。该框架基于 PyTorch 与 LSTM 架构,支持使用开源 Caravan 数据集训练;新版模型将已勘测流域的可预报时长延长 6 天、未勘测流域延长 1 天。
Google Research 提出的 MoGen 模型利用 PointInfinity 点云流匹配技术合成神经元三维形态,将 PATHFINDER 连接组重建模型的错误率降低 4.4%,相当于在小鼠全脑规模下节省 157 人年的人工校对工作。该论文将在 ICLR 2026 上发表,是现代生成式 AI 首次推动连接组重建达到当前最优水平,MoGen 已作为开源模型发布。
Mistral 发布 Mistral Small 4,采用 119B 总参数 / 6B 激活的 MoE 架构,统一 Magistral 推理、Devstral 编码代理与 Pixtral 多模态能力,支持 256k 上下文和可配置推理强度,权重以 Apache 2.0 开源。
推荐理由:原文给出统一推理、编码与多模态能力的架构与同尺寸模型的输出效率对比,可作为评估开源部署延迟与成本的参考。
Mistral AI 作为创始成员加入 NVIDIA Nemotron Coalition,将与 NVIDIA 共同开发前沿开源模型,并贡献多模态能力、微调工具与训练技术。联盟首个项目是基于 NVIDIA DGX Cloud 训练的基座模型,将支撑即将推出的 NVIDIA Nemotron 4 系列。Mistral AI 同日发布 Mistral Small 4,向开发者与组织开放使用。