跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

最新精选

第 1–20 条 · 共 31 条
10月16日周五
  1. Hugging Face Blog84

    Meta 开源多模态 MoE 模型 Muse Spark Open,总参数约 816B、每 token 激活约 42B

    Meta 发布开源多模态 MoE 模型 Muse Spark Open,总参数约 816B、每 token 激活约 42B,输入支持文本、图像、音频和视频,上下文窗口可达 1M tokens。

    推荐理由:原文覆盖了 transformers、llama.cpp、vLLM 等推理后端的部署示例和 TRL LoRA 微调流程,读者可以直接复用这些方案。

10月15日周四
  1. NVIDIA Blog70

    NVIDIA 扩展 Nemotron 模型家族,推出 Super VL 与 Bolt 系列覆盖数据中心到端侧

    NVIDIA 发布 Nemotron 3.5 Super VL(120B 参数)开放模型,主打多模态智能体任务,并推出 Bolt 74B-A9B 24GB 与 Bolt E4B 4GB 两款端侧模型。

    推荐理由:原文给出 Super VL 在参数量和吞吐量上的同档对比,以及从数据中心到端侧的全家族覆盖定位,可帮助判断 Nemotron 在开放模型生态中的角色。

  2. Hugging Face Blog69

    Swiss AI 发布 Apertus 1.5:8B/70B 开源模型扩展多模态与长上下文

    Swiss AI 团队发布 Apertus 1.5 (8B/70B),在 1.0 基础上加入原生图像与音频理解、可切换思考模式以及 262,144 token 上下文窗口(4 倍提升),权重以 Apache 2.0 开源。

    推荐理由:文章对照同尺寸开源权重模型,从多模态、长上下文与思考模式三方面详述 Apertus 1.5 的能力改进与取舍,可作为了解其定位的一手参考。

10月7日周三
  1. Google DeepMind66

    Google DeepMind 发布开源端侧多模态嵌入模型 EmbeddingGemma 2

    Google DeepMind 发布开源多模态嵌入模型 EmbeddingGemma 2,基于 Gemma 4 架构并采用 Apache 2.0 协议,参数规模 740M,可将文本、图像、音频与视频映射到同一嵌入空间。

    推荐理由:在端侧资源约束下把文本、图像、音频、视频统一映射到同一嵌入空间,为本地 RAG 与跨模态检索提供了新的基线。

10月6日周二
  1. Mistral AI75

    Mistral Large 4 公开预览版上线 Mistral Studio,月底发布权重

    Mistral 发布 Mistral Large 4(ML4)公开预览版,这是一款 1 万亿参数、49B 活跃参数的原生多模态模型,已在 Mistral Studio 开放 API 试用。

    推荐理由:原文同时给出了 ML4 在开源模型中的相对位置与欧洲数据中心、3,800 张 Blackwell GPU 的训练规模,读者可以据此理解其基础设施与开源生态意义。

10月1日周四
  1. Google DeepMind79

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布新的前沿模型 Gemini 4 Argon,先通过 Fairwind Program 面向一批可信网络安全防御方开放,随后逐步向开发者、企业和消费者推出。

    推荐理由:官方给出 1M 输出 token、DeepSWE v1.1 77.9% 等指标与分阶段开放安排,可据此了解前沿模型的发布节奏与安全门槛。

9月30日周三
  1. The Decoder84

    AMD 以 82 亿美元收购世界模型初创公司 World Labs

    AMD 宣布以约 82 亿美元的全股票交易收购空间智能初创公司 World Labs,创始人李飞飞将加入 AMD,出任执行副总裁兼首席科学家,交易预计在 2026 年底前完成并等待监管批准。

    推荐理由:AMD 以约 82 亿美元买下世界模型团队,可对照 Nvidia 近年靠模型与生态绑定硬件的做法。

9月25日周五
  1. Google DeepMind62

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Gemini 3.8 Live with Live Avatar 已在 Gemini Enterprise 上线,将近实时视频生成与语音对话结合,让企业智能体以带口型同步和自然表达的动态形象进行实时对话。

    推荐理由:原文给出 Live Avatar 在多语言同步和后台工具调用上的具体能力,读者可据此判断企业实时客服场景的落地边界。

9月22日周二
  1. Latent Space78

    小米发布 MiMo-V2.6-Pro 开源权重模型,1T-A42B 规模、训练成本 $3M

    小米发布 MiMo-V2.6 系列开源全模态模型,MiMo-V2.6-Pro 以 1.02T 总参数、42B 激活参数在 Artificial Analysis 智能指数上以 46 分位列最高分的开源权重模型,另有 MiMo-V2.6-Flash 与最高 20 倍输出速度的 MiMo-V2.6-Pro-UltraSpeed,模型采用 MIT 许可。

    推荐理由:原文给出了 RL 训练配方与开源环境清单,读者可以据此判断后训练成本下降对开源模型格局的影响。

9月16日周三
9月2日周三
8月28日周五
8月12日周三
  1. Google DeepMind70

    Google DeepMind 发布 SL2T 手语转文本模型并落地 Gboard 与 Live Transcribe

    Google DeepMind 发布大规模多语言手语转文本模型 SL2T,可将手语直接翻译为流式文本,首批支持美国手语(ASL)转英文。模型基于超过 50 种手语、10 万小时以上数据训练,其中约四分之一为 ASL,在 FLEURS-ASL(sd-test)上取得 70 BLEURT 的零样本分数。

    推荐理由:手语转文本模型在 Gboard 与 Live Transcribe 落地,文中给出数据规模与基准分数,可据此了解多模态无障碍翻译的当前进度。

  2. Google Research65

    Google AMIE(Video)实现专家级实时视频临床问诊

    Google Research 发布 AMIE(Video),一个基于 Gemini 和 Project Astra 的实时视频临床问诊系统,在覆盖 5 个身体系统的 100 个场景、300 次问诊的随机 OSCE 研究中,其临床问诊、诊断和管理能力与 30 名认证初级保健医生持平,并在体征观察和引导虚拟查体上显著优于医生组和文本版 AMIE。

    推荐理由:原文给出随机对照研究和多智能体架构细节,读者可以据此判断音视频通道相较纯文本究竟在哪类临床能力上带来了差异。

8月10日周一
  1. Hugging Face Blog69

    Meta 开源 30B 多模态模型 Muse Glimmer,主打本地智能体场景

    Meta 发布开源多模态模型 Muse Glimmer 30B,采用 Apache 2.0 协议,面向本地智能体用例,并获得 transformers、llama.cpp、vLLM、Inference Endpoints 的 day-0 支持。

    推荐理由:原文给出Muse Glimmer 30B在Agentic、编码、安全等基准上对位Gemma4-31B、Qwen3.6-27B的逐项对比结果,并附transformers、llama.cpp下的本地推理与DFlash推测解码代码示例。

7月30日周四
  1. Google DeepMind74

    Google DeepMind 发布机器人具身推理模型 Gemini Robotics ER 2

    Google DeepMind 发布 Gemini Robotics ER 2,这是面向机器人的具身推理模型,支持视频理解、任务编排和多机器人协作,已通过 Gemini API、Google AI Studio 向开发者开放,并在 Gemini Enterprise Agent Platform 上私测。

    推荐理由:原文给出了进度分类与时刻定位的具体准确率和延迟数据,可据此判断高层推理模型在机器人任务编排上的能力边界。

7月15日周三
  1. Hugging Face Blog73

    Thinking Machines 开源 1T 参数多模态模型 Inkling,支持图像文本音频输入

    Thinking Machines 开源 1T 参数多模态大模型 Inkling,原生支持图像、文本和音频输入及 1M 上下文,采用 decoder-only MoE 架构(975B 总参数、41B 激活),同步提供 BF16 与 NVFP4 两个权重版本。

    推荐理由:原文给出 Inkling 的 MoE 架构细节与多模态能力范围,并附 transformers、SGLang、vLLM 多框架部署示例和主流模型基准对比,方便评估其工程落地方案。

7月1日周三
6月9日周二
  1. Google DeepMind78

    Google DeepMind 发布 Gemma 4 12B,采用无编码器多模态架构

    Google DeepMind 发布 Gemma 4 12B,一款面向笔记本电脑的智能体多模态模型,视觉与音频输入直接进入 LLM 主干、不再依赖独立编码器,并配备 Multi-Token Prediction 草稿器以降低延迟。

    推荐理由:原文给出无编码器多模态架构的实现细节,读者可比对它与 26B MoE 在内存占用上的取舍。

5月18日周一