跳到正文

#多模态

今日 0 条
10月12日周一
9月25日周五
8月26日周三
8月17日周一
8月13日周四
  1. Microsoft Research49

    MindTopo 揭示 VLM 空间推理能力:静态识别强于交互规划

    Microsoft Research 提出 MindTopo 基准,用于评测多模态大模型(VLM)的拓扑推理能力,覆盖连通、分离、顺序、包围与绳结五类任务。测试发现,模型在静态识别上明显强于交互规划,两者均远低于人类水平,失败多出现在规划而非感知阶段。图像生成只在单帧可见关系时有用,视频推演跨多步仍常改变拓扑或违反任务动力学。

8月12日周三
  1. Google Research65

    Google AMIE(Video)实现专家级实时视频临床问诊

    Google Research 发布 AMIE(Video),一个基于 Gemini 和 Project Astra 的实时视频临床问诊系统,在覆盖 5 个身体系统的 100 个场景、300 次问诊的随机 OSCE 研究中,其临床问诊、诊断和管理能力与 30 名认证初级保健医生持平,并在体征观察和引导虚拟查体上显著优于医生组和文本版 AMIE。

    推荐理由:原文给出随机对照研究和多智能体架构细节,读者可以据此判断音视频通道相较纯文本究竟在哪类临床能力上带来了差异。

  2. Microsoft Research53

    微软研究院推出 CARE-X 放射学 VLM,融合辅助监督与工具增强测量

    微软研究院推出研究模型 CARE-X,一个覆盖胸部 X 光多种解读任务的放射学 VLM,可同时生成自由文本报告并输出带置信度的结构化预测。它基于 SigLIP2-so400M 视觉编码器和 Phi-4-mini-instruct(3.8B),通过分类、定位与语言建模的联合训练及 DAPO 强化学习优化临床正确性,在 ReXVQA 上达到 94% 整体准确率。

6月5日周五
4月30日周四