NVIDIA 扩展 Nemotron 模型家族,推出 Super VL 与 Bolt 系列覆盖数据中心到端侧
NVIDIA 发布 Nemotron 3.5 Super VL(120B 参数)开放模型,主打多模态智能体任务,并推出 Bolt 74B-A9B 24GB 与 Bolt E4B 4GB 两款端侧模型。
推荐理由:原文给出 Super VL 在参数量和吞吐量上的同档对比,以及从数据中心到端侧的全家族覆盖定位,可帮助判断 Nemotron 在开放模型生态中的角色。
跑在手机、电脑与边缘设备上的 AI:小模型、本地推理与端侧芯片的进展。
NVIDIA 发布 Nemotron 3.5 Super VL(120B 参数)开放模型,主打多模态智能体任务,并推出 Bolt 74B-A9B 24GB 与 Bolt E4B 4GB 两款端侧模型。
推荐理由:原文给出 Super VL 在参数量和吞吐量上的同档对比,以及从数据中心到端侧的全家族覆盖定位,可帮助判断 Nemotron 在开放模型生态中的角色。
Liquid AI 发布 LFM2.5-24B-A2B 推理模型,总参数 24B、激活 2B,主打端侧智能体与工具调用场景。
推荐理由:该模型以 2B 激活参数在多项工具调用基准上领先更大 MoE,为本地智能体部署提供了一份参数效率与端侧推理速度的参考。
NVIDIA RTX Spark笔记本电脑将于10月16日(周五)正式发售,搭载最高128GB统一内存与1 petaflop AI算力,上周已与微软联合公布。
推荐理由:原文梳理了RTX Spark笔记本上市前后的本地AI软件生态,可看出端侧智能体所需的模型、沙箱与工具栈已大致就绪。
在旧金山 Microsoft 活动上,NVIDIA CEO 黄仁勋与 Microsoft CEO 萨提亚·纳德拉共同发布 RTX Spark 和面向 Windows 的 DGX Station。
推荐理由:文章给出了 RTX Spark 和 Windows 版 DGX Station 的硬件规格与本地 AI 路径,读者可据此评估 Windows PC 运行大模型的真实门槛。
Google DeepMind 发布开源多模态嵌入模型 EmbeddingGemma 2,基于 Gemma 4 架构并采用 Apache 2.0 协议,参数规模 740M,可将文本、图像、音频与视频映射到同一嵌入空间。
推荐理由:在端侧资源约束下把文本、图像、音频、视频统一映射到同一嵌入空间,为本地 RAG 与跨模态检索提供了新的基线。
Hugging Face 在 transformers 中加入 GGUF 量化模型支持,用户可从 Hub 选取检查点并通过 from_pretrained 在本地加载生成。
推荐理由:原文给出了 GGUF 在 transformers 中的加载方式和对照 llama.cpp 的测量数据,便于评估本地量化推理的可用性。
Hugging Face 发布 @huggingface/kernels JavaScript 库与 Fleet 浏览器基准测试工具,首批开源 207 个 Apache-2.0 许可的 WebGPU 内核,每个内核以独立仓库形式托管在 Hub 上,包含 manifest、正确性用例、基准用例与 WGSL 着色器模板。
推荐理由:对比了在 Apple M4 上与 ORT WebGPU 的逐操作基准数据,读者可据此评估优化 WebGPU 内核对浏览器推理的实际收益。
Google DeepMind 发布大规模多语言手语转文本模型 SL2T,可将手语直接翻译为流式文本,首批支持美国手语(ASL)转英文。模型基于超过 50 种手语、10 万小时以上数据训练,其中约四分之一为 ASL,在 FLEURS-ASL(sd-test)上取得 70 BLEURT 的零样本分数。
推荐理由:手语转文本模型在 Gboard 与 Live Transcribe 落地,文中给出数据规模与基准分数,可据此了解多模态无障碍翻译的当前进度。
Google DeepMind 发布开源实验模型 DiffusionGemma,以文本扩散并行生成替代逐 token 自回归,在专用 GPU 上文本生成速度最高提升 4 倍。
推荐理由:开源 26B MoE 模型用文本扩散把解码瓶颈从显存带宽转向算力,读者可据此判断本地低并发推理的取舍。
Google DeepMind 发布 Gemma 4 12B,一款面向笔记本电脑的智能体多模态模型,视觉与音频输入直接进入 LLM 主干、不再依赖独立编码器,并配备 Multi-Token Prediction 草稿器以降低延迟。
推荐理由:原文给出无编码器多模态架构的实现细节,读者可比对它与 26B MoE 在内存占用上的取舍。
Google DeepMind 发布 Gemma 4 开源模型家族,包含 E2B、E4B、26B MoE 和 31B Dense 四种尺寸,采用 Apache 2.0 许可。
推荐理由:Gemma 4 以 Apache 2.0 许可放出四种尺寸,从端侧到工作站都有对应规格,可据此判断开源模型的落地边界。
Mistral 发布 Devstral 2(123B)与 Devstral Small 2(24B)两款开源编程模型,同步推出 Mistral Vibe CLI 命令行代理。
推荐理由:Devstral 2 在 SWE-bench Verified 上取得 72.2%,并给出相对 Claude Sonnet 的 7 倍成本效率数据。
Mistral 发布 Mistral 3 模型家族,旗舰款 Mistral Large 3 为 41B 激活 / 675B 总参数的稀疏 MoE,在 LMArena OSS 非推理模型榜位列第 2,全系采用 Apache 2.0 协议开源。
推荐理由:原文给出 Mistral Large 3 的 MoE 规模与 LMArena 排名,以及 Ministral 3 端侧尺寸,可作为开源权重模型横向对比的坐标。
Mistral 发布 Mistral Small 3.1,文本与多模态基准超过 Gemma 3 和 GPT-4o Mini,推理速度 150 tokens/s,上下文扩展至 128k tokens。
推荐理由:以 Apache 2.0 开放权重并附对照 Gemma 3、GPT-4o Mini 的基准数字,128k 上下文与多模态能力使其适合低成本本地运行。