跳到正文

#多模态

今日 0 条
10月17日周六
  1. TechCrunch · AI43

    Elorian 首个 AI 模型 Glimpse:直接对图像推理,而不只是围绕图像推理

    Elorian 发布首个 AI 模型 Glimpse,以研究预览形式开放 API 接入,聊天界面为候补名单制。其核心机制"视觉草稿空间"允许模型在推理过程中反复回看图像、裁剪区域或提取视频帧,而非一次性将图像转为 token。模型在数百张 GPU 上训练,输入 $0.60、输出 $3 每百万 token,Elorian 称在科学图表推理与短视频字幕任务上优于 GPT-6 Astra。

10月16日周五
  1. Hugging Face Blog84

    Meta 开源多模态 MoE 模型 Muse Spark Open,总参数约 816B、每 token 激活约 42B

    Meta 发布开源多模态 MoE 模型 Muse Spark Open,总参数约 816B、每 token 激活约 42B,输入支持文本、图像、音频和视频,上下文窗口可达 1M tokens。

    推荐理由:原文覆盖了 transformers、llama.cpp、vLLM 等推理后端的部署示例和 TRL LoRA 微调流程,读者可以直接复用这些方案。

10月15日周四
  1. NVIDIA Blog70

    NVIDIA 扩展 Nemotron 模型家族,推出 Super VL 与 Bolt 系列覆盖数据中心到端侧

    NVIDIA 发布 Nemotron 3.5 Super VL(120B 参数)开放模型,主打多模态智能体任务,并推出 Bolt 74B-A9B 24GB 与 Bolt E4B 4GB 两款端侧模型。

    推荐理由:原文给出 Super VL 在参数量和吞吐量上的同档对比,以及从数据中心到端侧的全家族覆盖定位,可帮助判断 Nemotron 在开放模型生态中的角色。

  2. Hugging Face Blog69

    Swiss AI 发布 Apertus 1.5:8B/70B 开源模型扩展多模态与长上下文

    Swiss AI 团队发布 Apertus 1.5 (8B/70B),在 1.0 基础上加入原生图像与音频理解、可切换思考模式以及 262,144 token 上下文窗口(4 倍提升),权重以 Apache 2.0 开源。

    推荐理由:文章对照同尺寸开源权重模型,从多模态、长上下文与思考模式三方面详述 Apertus 1.5 的能力改进与取舍,可作为了解其定位的一手参考。

10月12日周一
10月8日周四
  1. TechCrunch · AI74

    OpenAI 推出 Intelligent UI 新界面,让 ChatGPT 对话嵌入可视化交互元素

    OpenAI 随 GPT-6 推出名为 Intelligent UI 的新界面,在 ChatGPT 对话中嵌入可点击按钮、可编辑图表和定制计算器等交互元素。产品经理 Aarush Selvan 表示,最有帮助的回答不应只是文本,新界面目标是让复杂主题更易学习,演示案例包括机翼升力图、自行车机械图、多日徒步地图和存款计算器等。

10月7日周三
  1. Google DeepMind66

    Google DeepMind 发布开源端侧多模态嵌入模型 EmbeddingGemma 2

    Google DeepMind 发布开源多模态嵌入模型 EmbeddingGemma 2,基于 Gemma 4 架构并采用 Apache 2.0 协议,参数规模 740M,可将文本、图像、音频与视频映射到同一嵌入空间。

    推荐理由:在端侧资源约束下把文本、图像、音频、视频统一映射到同一嵌入空间,为本地 RAG 与跨模态检索提供了新的基线。

  2. Simon Willison26

    Simon Willison 测试 Claude Opus 5.5 作曲:意外生成《猴岛》风格游戏音乐

    Simon Willison 通过提示词让 Claude Opus 5.5 设计文本式音乐格式并构建可播放的 artifact,结果意外产出大量《猴岛》原版风格游戏音乐片段,质量令人满意。他推测文本模型的音乐生成能力可能与近几个月出现的 3D 图形能力类似,是一项新涌现的能力,但仍需用其他模型进一步验证。

10月6日周二
  1. Mistral AI75

    Mistral Large 4 公开预览版上线 Mistral Studio,月底发布权重

    Mistral 发布 Mistral Large 4(ML4)公开预览版,这是一款 1 万亿参数、49B 活跃参数的原生多模态模型,已在 Mistral Studio 开放 API 试用。

    推荐理由:原文同时给出了 ML4 在开源模型中的相对位置与欧洲数据中心、3,800 张 Blackwell GPU 的训练规模,读者可以据此理解其基础设施与开源生态意义。

  2. The Decoder47

    Reka AI 发布 omni 模型 Rho-1:19B 参数,单一神经网络统一处理文本、图像、视频与机器人控制

    Reka AI 发布研究预览版 omni 模型 Rho-1(19B 参数),用单一神经网络统一处理文本、图像、视频与机器人控制。各类模态以 token 形式跑在同一共享上下文窗口,无需外部模型或工具调用,模型可实时生成连续视频并即时响应新指令。训练使用 320 张 H100 GPU,历时约三个月。

10月5日周一
10月2日周五
  1. The Decoder48

    Tavus 推出 Griffin 人机交互模型:近半数测试者一分钟通话中误认其为真人

    Tavus 发布首个「人机交互模型」Griffin,能在实时视频通话中同时处理语音、表情、语气、手势与停顿。测试中 48% 参与者在仅一分钟通话后将其误认为真人,此前系统该比例最高仅 2%;Nvidia 一项独立音视频拟人度测试中 Griffin 获 3.83 分,真人得分 3.92。轻量版 Griffin-Lite 已向特定测试者开放研究预览,完整版本需待安全问题解决后推出。

10月1日周四
  1. TechCrunch · AI57

    Google 发布 Gemini 4 Argon,称其为迄今最强模型

    Google 发布 Gemini 4 Argon,称其能自主发现、验证并修复关键软件漏洞,目前仅通过 Fairwind 计划向部分网络安全合作伙伴开放。该模型针对防御性安全任务训练,Google 称其在多项基准上高于 OpenAI 的 GPT-6 Astra 与 Anthropic 的 Fable、Opus,并引用 Vals 指数显示其处于领先。

  2. Google DeepMind79

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布新的前沿模型 Gemini 4 Argon,先通过 Fairwind Program 面向一批可信网络安全防御方开放,随后逐步向开发者、企业和消费者推出。

    推荐理由:官方给出 1M 输出 token、DeepSWE v1.1 77.9% 等指标与分阶段开放安排,可据此了解前沿模型的发布节奏与安全门槛。

9月30日周三
  1. The Decoder84

    AMD 以 82 亿美元收购世界模型初创公司 World Labs

    AMD 宣布以约 82 亿美元的全股票交易收购空间智能初创公司 World Labs,创始人李飞飞将加入 AMD,出任执行副总裁兼首席科学家,交易预计在 2026 年底前完成并等待监管批准。

    推荐理由:AMD 以约 82 亿美元买下世界模型团队,可对照 Nvidia 近年靠模型与生态绑定硬件的做法。

9月29日周二
  1. Microsoft Research59

    Microsoft Research 推出面向生物学复杂性的 AI 研究系统 Quine

    Microsoft Research 推出 AI 研究系统 Quine,由生物学多模态世界模型和连接模型、科学工具、文献与研究者的交互 harness 组成。该系统与 Broad Institute 合作用于胰腺导管腺癌(PDAC)化合物筛选,其排名最高的化合物在湿实验中产生最大的 classical 到 basal 细胞状态转变,整个过程仅用一个周末。

  2. TechCrunch · AI39

    Marissa Mayer 的 Dazzle:靠相机胶卷而非收件箱读懂你的个人 AI 助手

    Marissa Mayer 推出个人 AI 助手 Dazzle,其上下文不取自邮件、日历等文本应用,而全部来自手机相机胶卷,据此推断用户的爱好、饮食与风格偏好。用户可通过 App 或短信交互,它还能扫描照片从活动传单填充日历,并按照片里的破损车库门找维修工、生成度假与礼物建议。Mayer 称 Dazzle 优先隐私,会丢弃被 AI 标记为敏感的个人信息。

9月26日周六
9月25日周五
  1. Google DeepMind62

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Gemini 3.8 Live with Live Avatar 已在 Gemini Enterprise 上线,将近实时视频生成与语音对话结合,让企业智能体以带口型同步和自然表达的动态形象进行实时对话。

    推荐理由:原文给出 Live Avatar 在多语言同步和后台工具调用上的具体能力,读者可据此判断企业实时客服场景的落地边界。

9月24日周四
9月23日周三