Meta 编程优化开源权重模型 Muse Spark Open 上架 Amazon SageMaker JumpStart
Meta 将编程优化开源权重模型 Muse Spark Open 接入 Amazon SageMaker JumpStart。模型采用 MoE 架构,总参数 816B、单 token 激活 42B,上下文 1M tokens;接收文本、图像、文档、音频与音视频输入,并作为推理模型会返回 reasoning_content。
Meta 将编程优化开源权重模型 Muse Spark Open 接入 Amazon SageMaker JumpStart。模型采用 MoE 架构,总参数 816B、单 token 激活 42B,上下文 1M tokens;接收文本、图像、文档、音频与音视频输入,并作为推理模型会返回 reasoning_content。
Meta 发布开源多模态 MoE 模型 Muse Spark Open,总参数约 816B、每 token 激活约 42B,输入支持文本、图像、音频和视频,上下文窗口可达 1M tokens。
推荐理由:原文覆盖了 transformers、llama.cpp、vLLM 等推理后端的部署示例和 TRL LoRA 微调流程,读者可以直接复用这些方案。
NVIDIA 发布 Nemotron 3.5 Super VL(120B 参数)开放模型,主打多模态智能体任务,并推出 Bolt 74B-A9B 24GB 与 Bolt E4B 4GB 两款端侧模型。
推荐理由:原文给出 Super VL 在参数量和吞吐量上的同档对比,以及从数据中心到端侧的全家族覆盖定位,可帮助判断 Nemotron 在开放模型生态中的角色。
Swiss AI 团队发布 Apertus 1.5 (8B/70B),在 1.0 基础上加入原生图像与音频理解、可切换思考模式以及 262,144 token 上下文窗口(4 倍提升),权重以 Apache 2.0 开源。
推荐理由:文章对照同尺寸开源权重模型,从多模态、长上下文与思考模式三方面详述 Apertus 1.5 的能力改进与取舍,可作为了解其定位的一手参考。
Google 在 Mountain View 举办的 Research@ 2026 上集中展示了覆盖医疗、地球科学、边缘芯片等方向的 10 项研究进展。
Liquid AI 开源 d1 系列两个边缘决策模型 d1-3B 与 d1-omni-600M,主打毫秒级单次前向传播推理。
Google DeepMind 发布开源多模态嵌入模型 EmbeddingGemma 2,基于 Gemma 4 架构并采用 Apache 2.0 协议,参数规模 740M,可将文本、图像、音频与视频映射到同一嵌入空间。
推荐理由:在端侧资源约束下把文本、图像、音频、视频统一映射到同一嵌入空间,为本地 RAG 与跨模态检索提供了新的基线。
Mistral 发布 Mistral Large 4(ML4)公开预览版,这是一款 1 万亿参数、49B 活跃参数的原生多模态模型,已在 Mistral Studio 开放 API 试用。
推荐理由:原文同时给出了 ML4 在开源模型中的相对位置与欧洲数据中心、3,800 张 Blackwell GPU 的训练规模,读者可以据此理解其基础设施与开源生态意义。
NVIDIA Inception 三家初创企业以 AI 工具覆盖乳腺癌从筛查到治疗规划各环节。iSono Health 的 FDA 获批 ATUSA 平台约两分钟完成单侧三维超声扫描,灵敏度比手持二维超声高 28%;Whiterabbit.ai 与 Ataraxis AI 分别聚焦乳腺密度评估和病理切片治疗反应预测。
Google DeepMind 发布新的前沿模型 Gemini 4 Argon,先通过 Fairwind Program 面向一批可信网络安全防御方开放,随后逐步向开发者、企业和消费者推出。
推荐理由:官方给出 1M 输出 token、DeepSWE v1.1 77.9% 等指标与分阶段开放安排,可据此了解前沿模型的发布节奏与安全门槛。
Condé Nast 与 AWS Generative AI Innovation Center 合作,基于 Amazon Bedrock 上的 TwelveLabs Marengo 嵌入模型和 Amazon OpenSearch Service 构建多模态视频检索方案,将单次内容发现耗时从 250 分钟压缩至不足 2 分钟。
Microsoft Research 推出 AI 研究系统 Quine,由生物学多模态世界模型和连接模型、科学工具、文献与研究者的交互 harness 组成。该系统与 Broad Institute 合作用于胰腺导管腺癌(PDAC)化合物筛选,其排名最高的化合物在湿实验中产生最大的 classical 到 basal 细胞状态转变,整个过程仅用一个周末。
SkyRL 在 Amazon SageMaker HyperPod 上对 Qwen3-VL-8B 做 GRPO 后训练,将固定 64-maze 评估集的迷宫求解率从 43.75% 提升到超过 95%。
Google Research 发布面向长视频生成的多智能体框架套件,包含 AI video co-director、CANVAS、A²RD 与 VQQA,作为编排层构建在 Gemini 和 Veo 之上,其中 Co-Director 将发表于 COLM 2026、CANVAS 将发表于 EMNLP 2026。
Gemini 3.8 Live with Live Avatar 已在 Gemini Enterprise 上线,将近实时视频生成与语音对话结合,让企业智能体以带口型同步和自然表达的动态形象进行实时对话。
推荐理由:原文给出 Live Avatar 在多语言同步和后台工具调用上的具体能力,读者可据此判断企业实时客服场景的落地边界。
Liquid AI 发布实验性草稿模型 LFM2.5-VL-DSpark,为视觉语言模型 LFM2.5-VL-3B 加入投机解码路径,端侧解码最高提速 3.13x、H100 上最高 2.66x,端到端提升最高 2.62x 和 2.27x。
AWS 发布教程,介绍如何用 Strands Agents SDK 结合 Amazon Bedrock、Rekognition 和 Transcribe 搭建对话式视频智能体,用户可用自然语言查询视频内容。
NVIDIA AI Day Singapore 于 9 月 22-23 日举行,NVIDIA 与合作伙伴展示东南亚 AI 从试点走向生产部署的进展。新加坡 HTX 将研究 Nemotron 3 Super 与 Nemotron 3 Nano Omni 用于公共安全,NCS、ST Engineering 基于 Nemotron 模型与 NeMo 推进智能体 AI。
Google 发布 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking 两款实时语音对话模型,分别面向规模与成本效率、以及高复杂度任务。
推荐理由:两款语音模型分别面向规模成本与复杂任务,并给出各自评测数据和开放入口,可供判断语音智能体的选型。
NeoMME 是 H Company 发布的多语言多模态编码器系列,包含 260M 和 800M 两个规格,采用单一双向 Transformer 同时处理文本 token 与 32×32 图像 patch,从零训练并使用掩码离散扩散目标。
Google DeepMind 在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 上推出智能体视频理解功能,官方称视频分析成本最多降低 66%、token 消耗最多降低 88%、准确率最高提升 7%。
推荐理由:官方给出成本最多降 66%、token 最多降 88% 的基准数据,可据此判断长视频分析的工程取舍。
Google DeepMind 发布 Gemini Omni 1.1 Flash,为开发者提供场景延展、首尾帧指定、360p 快速草稿和最高 4K 放大等生成视频控制能力。
推荐理由:相比此前只能参考最后一秒的版本,Omni 1.1 把场景延展的上下文提到 10 秒,并给出 360p 草稿与 4K 输出等具体参数。
Google Research 在 CHI 2026 发表研究原型 AgentHands,让 XR 中的 AI 智能体在对话时同步生成手势。系统结合空间感知、GestureEvents 与词级 TTS 时间戳,将 LLM 输出映射为实时 3D 手部动作。N=12 的用户研究显示,相较纯语音基线,AgentHands 在空间定位沟通效果上带来显著提升。
Google Research 提出 PhotoScan 深度学习框架,仅凭标准 2D 智能手机照片即可估算体脂率(BF%)、A/G 比和 V/S 比等三维体成分指标,预测胰岛素抵抗的精度接近 DXA 扫描。
Microsoft Research 提出 MindTopo 基准,用于评测多模态大模型(VLM)的拓扑推理能力,覆盖连通、分离、顺序、包围与绳结五类任务。测试发现,模型在静态识别上明显强于交互规划,两者均远低于人类水平,失败多出现在规划而非感知阶段。图像生成只在单帧可见关系时有用,视频推演跨多步仍常改变拓扑或违反任务动力学。
Google DeepMind 发布大规模多语言手语转文本模型 SL2T,可将手语直接翻译为流式文本,首批支持美国手语(ASL)转英文。模型基于超过 50 种手语、10 万小时以上数据训练,其中约四分之一为 ASL,在 FLEURS-ASL(sd-test)上取得 70 BLEURT 的零样本分数。
推荐理由:手语转文本模型在 Gboard 与 Live Transcribe 落地,文中给出数据规模与基准分数,可据此了解多模态无障碍翻译的当前进度。
Google Research 发布 AMIE(Video),一个基于 Gemini 和 Project Astra 的实时视频临床问诊系统,在覆盖 5 个身体系统的 100 个场景、300 次问诊的随机 OSCE 研究中,其临床问诊、诊断和管理能力与 30 名认证初级保健医生持平,并在体征观察和引导虚拟查体上显著优于医生组和文本版 AMIE。
推荐理由:原文给出随机对照研究和多智能体架构细节,读者可以据此判断音视频通道相较纯文本究竟在哪类临床能力上带来了差异。
微软研究院推出研究模型 CARE-X,一个覆盖胸部 X 光多种解读任务的放射学 VLM,可同时生成自由文本报告并输出带置信度的结构化预测。它基于 SigLIP2-so400M 视觉编码器和 Phi-4-mini-instruct(3.8B),通过分类、定位与语言建模的联合训练及 DAPO 强化学习优化临床正确性,在 ReXVQA 上达到 94% 整体准确率。
Meta 发布开源多模态模型 Muse Glimmer 30B,采用 Apache 2.0 协议,面向本地智能体用例,并获得 transformers、llama.cpp、vLLM、Inference Endpoints 的 day-0 支持。
推荐理由:原文给出Muse Glimmer 30B在Agentic、编码、安全等基准上对位Gemma4-31B、Qwen3.6-27B的逐项对比结果,并附transformers、llama.cpp下的本地推理与DFlash推测解码代码示例。
Mistral 发布开源多模态安全分类模型 Shieldstral,参数规模 3B,可在单张 16GB NVIDIA GPU 上运行,权重采用 Apache 2.0 授权(https://mistral.ai/news/shieldstral/)。
Google DeepMind 发布 Gemini Robotics ER 2,这是面向机器人的具身推理模型,支持视频理解、任务编排和多机器人协作,已通过 Gemini API、Google AI Studio 向开发者开放,并在 Gemini Enterprise Agent Platform 上私测。
推荐理由:原文给出了进度分类与时刻定位的具体准确率和延迟数据,可据此判断高层推理模型在机器人任务编排上的能力边界。
Google 在 Flow Music 中上线新的音乐生成模型 Lyria 3.5,称其在音乐性、歌词和人声质量上均有显著提升。该版本可生成更复杂自然的旋律结构,歌词的提示词遵循度与结构意识更强,人声更具情感表现力且发音更准确。用户还能更便捷地控制输出曲目的节奏与时长,并已在 Flow Music 中开放试用。
DharmaOCR 在面向巴西葡萄牙语的 OCR 评测中以 0.925 的提取质量分优于发布更晚的 Mistral OCR4(0.798)和 Unlimited-OCR(0.7587)。
Thinking Machines 开源 1T 参数多模态大模型 Inkling,原生支持图像、文本和音频输入及 1M 上下文,采用 decoder-only MoE 架构(975B 总参数、41B 激活),同步提供 BF16 与 NVFP4 两个权重版本。
推荐理由:原文给出 Inkling 的 MoE 架构细节与多模态能力范围,并附 transformers、SGLang、vLLM 多框架部署示例和主流模型基准对比,方便评估其工程落地方案。
Google DeepMind 启动 Gemini 驱动的 ATL Saathi 试点,为印度 Atal Tinkering Labs 教师提供 24/7 规划与培训助手。该应用由 Gemini 3.5 Flash 提供底层能力,可生成年级适配的项目创意、分步装配说明和接线图,并覆盖 12 个核心模块的摘要与互动测验。首批覆盖 100 所学校,首期支持 8 种语言。
BAIR 公布 2026 届博士毕业生展示,涵盖机器人、LLM 推理、计算机视觉、生成模型、AI 安全、人机交互以及 AI for science 与医疗等方向。毕业生将赴高校教职、博士后岗位与工业研究实验室,其中 Hanlin Zhu 加入 OpenAI,Josh Kang 加入 Mistral AI。
Google DeepMind 发布 Nano Banana 2 Lite 与 Gemini Omni Flash 两款模型。
推荐理由:两款模型都给出了延迟、单价与上线入口,开发者可据此对照现有图像和视频管线判断成本与选型。
Google DeepMind 发布 Gemma 4 12B,一款面向笔记本电脑的智能体多模态模型,视觉与音频输入直接进入 LLM 主干、不再依赖独立编码器,并配备 Multi-Token Prediction 草稿器以降低延迟。
推荐理由:原文给出无编码器多模态架构的实现细节,读者可比对它与 26B MoE 在内存占用上的取舍。
Google Research 在 Nature 发表 PHRM 系统,通过手机前置摄像头在日常使用中被动监测心率,单次心率 MAPE < 10%、日均静息心率 MAE < 5 bpm。系统基于 35 万段视频、约 700 名不同肤色受试者训练,是迄今最大规模的 rPPG 研究,并公开 PHRM-mini 预训练模型与数据集供研究者申请。
Google DeepMind 为 Project Genie 上线 Street View 真实影像 grounding 能力,可选择美国境内真实地点并搭配风格生成可交互世界。