跳到正文

#多模态

今日 0 条
9月23日周三
9月22日周二
  1. Latent Space78

    小米发布 MiMo-V2.6-Pro 开源权重模型,1T-A42B 规模、训练成本 $3M

    小米发布 MiMo-V2.6 系列开源全模态模型,MiMo-V2.6-Pro 以 1.02T 总参数、42B 激活参数在 Artificial Analysis 智能指数上以 46 分位列最高分的开源权重模型,另有 MiMo-V2.6-Flash 与最高 20 倍输出速度的 MiMo-V2.6-Pro-UltraSpeed,模型采用 MIT 许可。

    推荐理由:原文给出了 RL 训练配方与开源环境清单,读者可以据此判断后训练成本下降对开源模型格局的影响。

9月16日周三
9月3日周四
9月2日周三
8月28日周五
8月26日周三
8月17日周一
8月13日周四
  1. Microsoft Research49

    MindTopo 揭示 VLM 空间推理能力:静态识别强于交互规划

    Microsoft Research 提出 MindTopo 基准,用于评测多模态大模型(VLM)的拓扑推理能力,覆盖连通、分离、顺序、包围与绳结五类任务。测试发现,模型在静态识别上明显强于交互规划,两者均远低于人类水平,失败多出现在规划而非感知阶段。图像生成只在单帧可见关系时有用,视频推演跨多步仍常改变拓扑或违反任务动力学。

8月12日周三
  1. Google DeepMind70

    Google DeepMind 发布 SL2T 手语转文本模型并落地 Gboard 与 Live Transcribe

    Google DeepMind 发布大规模多语言手语转文本模型 SL2T,可将手语直接翻译为流式文本,首批支持美国手语(ASL)转英文。模型基于超过 50 种手语、10 万小时以上数据训练,其中约四分之一为 ASL,在 FLEURS-ASL(sd-test)上取得 70 BLEURT 的零样本分数。

    推荐理由:手语转文本模型在 Gboard 与 Live Transcribe 落地,文中给出数据规模与基准分数,可据此了解多模态无障碍翻译的当前进度。

  2. Google Research65

    Google AMIE(Video)实现专家级实时视频临床问诊

    Google Research 发布 AMIE(Video),一个基于 Gemini 和 Project Astra 的实时视频临床问诊系统,在覆盖 5 个身体系统的 100 个场景、300 次问诊的随机 OSCE 研究中,其临床问诊、诊断和管理能力与 30 名认证初级保健医生持平,并在体征观察和引导虚拟查体上显著优于医生组和文本版 AMIE。

    推荐理由:原文给出随机对照研究和多智能体架构细节,读者可以据此判断音视频通道相较纯文本究竟在哪类临床能力上带来了差异。

  3. Microsoft Research53

    微软研究院推出 CARE-X 放射学 VLM,融合辅助监督与工具增强测量

    微软研究院推出研究模型 CARE-X,一个覆盖胸部 X 光多种解读任务的放射学 VLM,可同时生成自由文本报告并输出带置信度的结构化预测。它基于 SigLIP2-so400M 视觉编码器和 Phi-4-mini-instruct(3.8B),通过分类、定位与语言建模的联合训练及 DAPO 强化学习优化临床正确性,在 ReXVQA 上达到 94% 整体准确率。

8月10日周一
  1. Hugging Face Blog69

    Meta 开源 30B 多模态模型 Muse Glimmer,主打本地智能体场景

    Meta 发布开源多模态模型 Muse Glimmer 30B,采用 Apache 2.0 协议,面向本地智能体用例,并获得 transformers、llama.cpp、vLLM、Inference Endpoints 的 day-0 支持。

    推荐理由:原文给出Muse Glimmer 30B在Agentic、编码、安全等基准上对位Gemma4-31B、Qwen3.6-27B的逐项对比结果,并附transformers、llama.cpp下的本地推理与DFlash推测解码代码示例。

8月4日周二
7月30日周四
  1. Google DeepMind74

    Google DeepMind 发布机器人具身推理模型 Gemini Robotics ER 2

    Google DeepMind 发布 Gemini Robotics ER 2,这是面向机器人的具身推理模型,支持视频理解、任务编排和多机器人协作,已通过 Gemini API、Google AI Studio 向开发者开放,并在 Gemini Enterprise Agent Platform 上私测。

    推荐理由:原文给出了进度分类与时刻定位的具体准确率和延迟数据,可据此判断高层推理模型在机器人任务编排上的能力边界。

  2. Google DeepMind49

    Google 在 Flow Music 发布 Lyria 3.5 音乐生成模型,提升音乐性、歌词、人声与创作控制

    Google 在 Flow Music 中上线新的音乐生成模型 Lyria 3.5,称其在音乐性、歌词和人声质量上均有显著提升。该版本可生成更复杂自然的旋律结构,歌词的提示词遵循度与结构意识更强,人声更具情感表现力且发音更准确。用户还能更便捷地控制输出曲目的节奏与时长,并已在 Flow Music 中开放试用。

7月16日周四
7月15日周三
  1. Hugging Face Blog73

    Thinking Machines 开源 1T 参数多模态模型 Inkling,支持图像文本音频输入

    Thinking Machines 开源 1T 参数多模态大模型 Inkling,原生支持图像、文本和音频输入及 1M 上下文,采用 decoder-only MoE 架构(975B 总参数、41B 激活),同步提供 BF16 与 NVFP4 两个权重版本。

    推荐理由:原文给出 Inkling 的 MoE 架构细节与多模态能力范围,并附 transformers、SGLang、vLLM 多框架部署示例和主流模型基准对比,方便评估其工程落地方案。

7月13日周一
  1. Google DeepMind35

    Google DeepMind 以 Gemini 驱动的 ATL Saathi 赋能印度下一代创新者

    Google DeepMind 启动 Gemini 驱动的 ATL Saathi 试点,为印度 Atal Tinkering Labs 教师提供 24/7 规划与培训助手。该应用由 Gemini 3.5 Flash 提供底层能力,可生成年级适配的项目创意、分步装配说明和接线图,并覆盖 12 个核心模块的摘要与互动测验。首批覆盖 100 所学校,首期支持 8 种语言。

7月1日周三
6月15日周一
6月9日周二
  1. Google DeepMind78

    Google DeepMind 发布 Gemma 4 12B,采用无编码器多模态架构

    Google DeepMind 发布 Gemma 4 12B,一款面向笔记本电脑的智能体多模态模型,视觉与音频输入直接进入 LLM 主干、不再依赖独立编码器,并配备 Multi-Token Prediction 草稿器以降低延迟。

    推荐理由:原文给出无编码器多模态架构的实现细节,读者可比对它与 26B MoE 在内存占用上的取舍。

6月5日周五
5月18日周一
5月17日周日
  1. Google DeepMind62

    Google 在 Search、Gemini、Chrome 与 Cloud 扩展 SynthID 和 C2PA 内容溯源工具

    Google 将 SynthID 与 C2PA Content Credentials 校验扩展到 Search、Gemini、Chrome、Pixel 和 Cloud,并在 Google Cloud 的 Gemini Enterprise Agent Platform 上线 AI Content Detection API。

    推荐理由:Google 把 SynthID、C2PA 校验与 Cloud 检测 API 一并铺到搜索和浏览器,可据此判断 AI 内容溯源工具的落地范围。

5月16日周六
  1. Google DeepMind92

    Google DeepMind 发布 Gemini 3.5,首发 Gemini 3.5 Flash

    Google DeepMind 发布 Gemini 3.5 模型系列,首发 Gemini 3.5 Flash,今日起在 Gemini app 和 Google Search 的 AI Mode 面向所有人开放,开发者可通过 Google Antigravity、Google AI Studio 中的 Gemini API 和 Android Studio 使用。

    推荐理由:文章列出 3.5 Flash 与其他前沿模型的基准对比和速度差异,可用于评估智能体与编码场景下延迟和成本的取舍。

4月30日周四
4月13日周一
  1. Google DeepMind61

    Google DeepMind 发布 Gemini Robotics-ER 1.6,强化具身推理与仪表读数

    Google DeepMind 发布 Gemini Robotics-ER 1.6,作为推理优先的机器人模型升级版,在指点、计数、成功检测等空间与物理推理上较 Gemini Robotics-ER 1.5 和 Gemini 3.0 Flash 有明显提升。

    推荐理由:相比 1.5 与 Gemini 3.0 Flash,新模型新增仪表读数能力,可了解机器人具身推理的进展与开放入口。

4月3日周五
3月29日周日
  1. Google DeepMind62

    Google DeepMind 用 AI 重塑鼠标指针,Chrome 已支持指向网页问 Gemini

    Google DeepMind 公布 AI 指针研究,提出把传达上下文与意图的负担从用户转移到计算机的四项交互原则。实验性指针由 Gemini 驱动,可在 Google AI Studio 中指向并语音编辑图片或查找地点;Chrome 已支持用指针就网页中关心的部分向 Gemini 提问,Googlebook 的 Magic Pointer 也将很快推出。

    推荐理由:文章给出四项交互原则并说明指针如何借助视觉与语义上下文理解用户意图,可供判断 AI 交互入口的走向。

3月17日周二
  1. Mistral AI70

    Mistral 发布开源 Mistral Small 4,统一推理、编码与多模态能力

    Mistral 发布 Mistral Small 4,采用 119B 总参数 / 6B 激活的 MoE 架构,统一 Magistral 推理、Devstral 编码代理与 Pixtral 多模态能力,支持 256k 上下文和可配置推理强度,权重以 Apache 2.0 开源。

    推荐理由:原文给出统一推理、编码与多模态能力的架构与同尺寸模型的输出效率对比,可作为评估开源部署延迟与成本的参考。

12月17日周三
12月3日周三
  1. Mistral AI79

    Mistral 发布 Mistral 3 模型家族,涵盖 Mistral Large 3 与 Ministral 3

    Mistral 发布 Mistral 3 模型家族,旗舰款 Mistral Large 3 为 41B 激活 / 675B 总参数的稀疏 MoE,在 LMArena OSS 非推理模型榜位列第 2,全系采用 Apache 2.0 协议开源。

    推荐理由:原文给出 Mistral Large 3 的 MoE 规模与 LMArena 排名,以及 Ministral 3 端侧尺寸,可作为开源权重模型横向对比的坐标。

8月1日周五
7月17日周四
  1. Mistral AI62

    Mistral AI 为 Le Chat 推出深度研究、语音模式与 Projects 等多项新功能

    Mistral AI 为 Le Chat 推出多项新功能,包括 Deep Research 预览模式、基于 Voxtral 的语音模式、由 Magistral 推理模型驱动的多语言 Think 模式、Projects 文件夹整理,以及与 Black Forest Labs 合作的图像编辑。

    推荐理由:Le Chat 一次性发布研究、语音、推理与图像编辑多项能力,读者可据此与同期同类助手的功能覆盖做横向对照。

5月7日周三
  1. Mistral AI62

    Mistral AI 发布 Mistral Medium 3,主打企业级性能与成本效率

    Mistral AI 发布 Mistral Medium 3,定位中型尺寸企业模型,定价 $0.4 输入 / $2 输出每 M token,在多项基准上达到或超过 Claude Sonnet 3.7 的 90%,并超越 Llama 4 Maverick 与 Cohere Command A,成本也低于 DeepSeek v3。

    推荐理由:原文同时给出相对 Claude Sonnet 3.7、Llama 4 Maverick 的性能对照与 $0.4 / $2 每 M token 的价格,可作为中型模型选型的成本与性能参考。

3月17日周一