Mistral AI 工程师深挖 vLLM 内存泄漏,根因指向 UCX 的 mmap 钩子机制
Mistral AI 团队在 Mistral Medium 3.1 的 Prefill/Decode 分离推理部署中发现 vLLM 存在约每分钟 400 MB 的内存泄漏,经 Heaptrack、pmap、BPFtrace 和 GDB 自动化断点逐层排查,最终定位到 UCX 通过 GOT 改写拦截所有 mmap 调用导致 RSS 持续增长。
Mistral AI 团队在 Mistral Medium 3.1 的 Prefill/Decode 分离推理部署中发现 vLLM 存在约每分钟 400 MB 的内存泄漏,经 Heaptrack、pmap、BPFtrace 和 GDB 自动化断点逐层排查,最终定位到 UCX 通过 GOT 改写拦截所有 mmap 调用导致 RSS 持续增长。
Mistral 发布 Devstral 2(123B)与 Devstral Small 2(24B)两款开源编程模型,同步推出 Mistral Vibe CLI 命令行代理。
推荐理由:Devstral 2 在 SWE-bench Verified 上取得 72.2%,并给出相对 Claude Sonnet 的 7 倍成本效率数据。
Mistral AI 发布面向企业团队的生产级 AI 平台 Mistral AI Studio,整合可观测性(Observability)、Agent Runtime 与 AI Registry 三大模块,覆盖 prompts、模型、数据集与 judges 的版本管理与溯源。
Mistral AI 推出全栈 AI 基础设施产品 Mistral Compute,提供从裸金属服务器到全托管 PaaS 的私有集成栈,涵盖 GPU、编排、API 与服务。
Mistral 推出面向企业的 AI 编码助手 Mistral Code,整合 Codestral、Codestral Embed、Devstral 和 Mistral Medium 四款模型,支持云端、专属容量及本地 GPU 部署,并允许客户在私有代码库上微调或蒸馏轻量模型。
Mistral AI 发布 Mistral Medium 3,定位中型尺寸企业模型,定价 $0.4 输入 / $2 输出每 M token,在多项基准上达到或超过 Claude Sonnet 3.7 的 90%,并超越 Llama 4 Maverick 与 Cohere Command A,成本也低于 DeepSeek v3。
推荐理由:原文同时给出相对 Claude Sonnet 3.7、Llama 4 Maverick 的性能对照与 $0.4 / $2 每 M token 的价格,可作为中型模型选型的成本与性能参考。