跳到正文

端侧 AI

跑在手机、电脑与边缘设备上的 AI:小模型、本地推理与端侧芯片的进展。

最新精选

第 1–14 条 · 共 14 条
10月15日周四
  1. NVIDIA Blog70

    NVIDIA 扩展 Nemotron 模型家族,推出 Super VL 与 Bolt 系列覆盖数据中心到端侧

    NVIDIA 发布 Nemotron 3.5 Super VL(120B 参数)开放模型,主打多模态智能体任务,并推出 Bolt 74B-A9B 24GB 与 Bolt E4B 4GB 两款端侧模型。

    推荐理由:原文给出 Super VL 在参数量和吞吐量上的同档对比,以及从数据中心到端侧的全家族覆盖定位,可帮助判断 Nemotron 在开放模型生态中的角色。

10月14日周三
10月13日周二
10月8日周四
10月7日周三
  1. Google DeepMind66

    Google DeepMind 发布开源端侧多模态嵌入模型 EmbeddingGemma 2

    Google DeepMind 发布开源多模态嵌入模型 EmbeddingGemma 2,基于 Gemma 4 架构并采用 Apache 2.0 协议,参数规模 740M,可将文本、图像、音频与视频映射到同一嵌入空间。

    推荐理由:在端侧资源约束下把文本、图像、音频、视频统一映射到同一嵌入空间,为本地 RAG 与跨模态检索提供了新的基线。

9月22日周二
9月1日周二
  1. Hugging Face Blog69

    Hugging Face 发布 @huggingface/kernels 库与 Fleet 浏览器基准工具,首批开源 207 个 WebGPU 内核

    Hugging Face 发布 @huggingface/kernels JavaScript 库与 Fleet 浏览器基准测试工具,首批开源 207 个 Apache-2.0 许可的 WebGPU 内核,每个内核以独立仓库形式托管在 Hub 上,包含 manifest、正确性用例、基准用例与 WGSL 着色器模板。

    推荐理由:对比了在 Apple M4 上与 ORT WebGPU 的逐操作基准数据,读者可据此评估优化 WebGPU 内核对浏览器推理的实际收益。

8月12日周三
  1. Google DeepMind70

    Google DeepMind 发布 SL2T 手语转文本模型并落地 Gboard 与 Live Transcribe

    Google DeepMind 发布大规模多语言手语转文本模型 SL2T,可将手语直接翻译为流式文本,首批支持美国手语(ASL)转英文。模型基于超过 50 种手语、10 万小时以上数据训练,其中约四分之一为 ASL,在 FLEURS-ASL(sd-test)上取得 70 BLEURT 的零样本分数。

    推荐理由:手语转文本模型在 Gboard 与 Live Transcribe 落地,文中给出数据规模与基准分数,可据此了解多模态无障碍翻译的当前进度。

6月11日周四
6月9日周二
  1. Google DeepMind78

    Google DeepMind 发布 Gemma 4 12B,采用无编码器多模态架构

    Google DeepMind 发布 Gemma 4 12B,一款面向笔记本电脑的智能体多模态模型,视觉与音频输入直接进入 LLM 主干、不再依赖独立编码器,并配备 Multi-Token Prediction 草稿器以降低延迟。

    推荐理由:原文给出无编码器多模态架构的实现细节,读者可比对它与 26B MoE 在内存占用上的取舍。

4月3日周五
12月9日周二
12月3日周三
  1. Mistral AI79

    Mistral 发布 Mistral 3 模型家族,涵盖 Mistral Large 3 与 Ministral 3

    Mistral 发布 Mistral 3 模型家族,旗舰款 Mistral Large 3 为 41B 激活 / 675B 总参数的稀疏 MoE,在 LMArena OSS 非推理模型榜位列第 2,全系采用 Apache 2.0 协议开源。

    推荐理由:原文给出 Mistral Large 3 的 MoE 规模与 LMArena 排名,以及 Ministral 3 端侧尺寸,可作为开源权重模型横向对比的坐标。

3月17日周一