Claude Haiku 5.5 上线 Amazon Bedrock,首次支持 effort controls
Claude Haiku 5.5 已在 Amazon Bedrock 和 Claude Platform on AWS 上线,定位为 Claude 5.5 系列中速度最快、最高效的型号。
推荐理由:对比了 Haiku 5.5 与 Opus 5.5 的任务分工,并给出在 Bedrock 上调用与监控 Haiku 5.5 的代码示例。
把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。
Claude Haiku 5.5 已在 Amazon Bedrock 和 Claude Platform on AWS 上线,定位为 Claude 5.5 系列中速度最快、最高效的型号。
推荐理由:对比了 Haiku 5.5 与 Opus 5.5 的任务分工,并给出在 Bedrock 上调用与监控 Haiku 5.5 的代码示例。
微软研究院开源 Agent Lightning v1.0:一套约 3,500 行的轻量级 Agentic RL 训练框架,主张用真实 harness 训练,复用部署侧 agent 循环接入 RL,无需重写 agent。
推荐理由:把训练与部署统一在同一套 agent harness 上,约 3,500 行代码加 6,000 条样本就让 Qwen3.5-9B 在 SWE-bench Verified 提升 14.6 个百分点,为低门槛复现 agent RL 提供了完整路径。
GPT-6 Astra Ultrafast 已在 OpenAI API 及符合条件的 ChatGPT Work 与 Codex 用户中开放,相比 Astra Standard 模式 token 生成速度最高提升 8 倍。
推荐理由:原文展示了 OpenAI 借助自有模型针对 NVIDIA Blackwell 优化推理栈的做法,可作为大模型推理加速与硬件协同优化的参考案例。
AWS 发布教程,演示如何在 Amazon Bedrock AgentCore Runtime Instances 上用三个智能体搭建音乐制作流水线。
推荐理由:原文给出三个智能体共用同一 GPU 实例与共享卷的完整代码和运行数据,可作为长时多智能体流水线的部署参考。
OpenRouter 联合创始人兼 CEO Alex Atallah 与 AMP 的 Anjney Midha 在 Latent Space 播客中复盘 OpenRouter 从押注多模型到被 Stripe 收购的历程。
推荐理由:OpenRouter 联合创始人与投资人复盘多模型押注和推理市场的形成,并解释 Stripe 收购与 token 欺诈的关系。
OpenAI 的 GPT-6 Sol 和 GPT-6 Luna 已在 Amazon Bedrock 正式可用,API 定价显著低于前代 GPT-5.6。GPT-6 Sol 面向编码、调试和跨工具多步流程等复杂任务,OpenAI 内部事实性评估显示其事实性错误约为 GPT-5.6 Sol 的一半;GPT-6 Luna 面向高并发的信息抽取、摘要和分类,可按请求调整推理强度。
推荐理由:两个新模型以低于 GPT-5.6 的 API 定价上线 Bedrock,读者可据此比较不同任务层级的模型与成本取舍。
Anthropic 的 Claude Opus 5.5 现已在 Amazon Bedrock 和 Claude Platform on AWS 上线,是 Claude 5.5 系列的首个模型。
推荐理由:相比 Claude Opus 5,文中给出每 token 价格与单任务成本的变化,可供评估是否迁移。
Hugging Face 在 transformers 中加入 GGUF 量化模型支持,用户可从 Hub 选取检查点并通过 from_pretrained 在本地加载生成。
推荐理由:原文给出了 GGUF 在 transformers 中的加载方式和对照 llama.cpp 的测量数据,便于评估本地量化推理的可用性。
GitHub 用 Copilot 智能体把 Copilot 运行时从 TypeScript 重写为超过 800,000 行生产级 Rust,分布在 128 个 PR 中并增量上线。
推荐理由:文章复盘了用 AI 智能体把大型 TypeScript 运行时原地迁移到 Rust 的做法,可供大规模智能体重构参考。
TRL v1.14 的 AsyncGRPOTrainer 新增 LoRA 支持,rank-1 适配器只有几 MB,经 HF Jobs 的 Storage Bucket 即可同步到 vLLM,避免在节点间搬运 3 GB 整模型。
推荐理由:把训练与推理拆到独立机器上的可复用方案与逐轮瓶颈定位方法,对搭异步 RL 流水线的读者有直接参考价值。
Gradio 团队用 73 个节点、11 条媒体管线在 Workflow1111 中复刻了 AUTOMATIC1111 的核心功能集,涵盖文生图、高清修复、图生图、提示词矩阵、VLM 反推、检测生成 inpaint 掩码、ControlNet 预处理器、背景移除、PNG Info 与图生视频。
推荐理由:原文以 73 节点重建 AUTOMATIC1111 为例,展示 gr.Workflow 在多模型编排上与 ComfyUI 的差异,以及每个输出自动成为 REST 端点和 MCP 工具的能力。
Hugging Face 发布 @huggingface/kernels JavaScript 库与 Fleet 浏览器基准测试工具,首批开源 207 个 Apache-2.0 许可的 WebGPU 内核,每个内核以独立仓库形式托管在 Hub 上,包含 manifest、正确性用例、基准用例与 WGSL 着色器模板。
推荐理由:对比了在 Apple M4 上与 ORT WebGPU 的逐操作基准数据,读者可据此评估优化 WebGPU 内核对浏览器推理的实际收益。
Gradio 内置 gr.Workflow,可将多步骤 AI 流水线描述为带类型的节点图,并自动生成拖拽式画布、REST API 与一键部署到 Hugging Face Spaces。
推荐理由:原文把流水线抽象为带类型的节点图,对比当前 print 调试写法,可看到同一份图同时覆盖画布、REST API 与 Spaces 一键发布。
NVIDIA 发布开源 364M 参数的 Magpie 多语种 TTS 模型,支持 12 种语言,包括本次新增的现代标准阿拉伯语、韩语和巴西葡萄牙语。
推荐理由:对比 B200、H100、A100 上的首音频延迟数据,并介绍 frame stacking 与 local transformer 两项推理优化思路,可用于自有基础设施上的语音智能体部署。
Diffusers 现已原生集成 Nunchaku 的 SVDQuant 4 位扩散推理,预量化模型可通过 from_pretrained() 直接加载,无需本地 CUDA 编译。
推荐理由:给出了把 SVDQuant 4 位扩散推理接入 Diffusers 的完整工作流,并附 BF16 与量化版本的延迟和显存基准。
Thinking Machines 开源 1T 参数多模态大模型 Inkling,原生支持图像、文本和音频输入及 1M 上下文,采用 decoder-only MoE 架构(975B 总参数、41B 激活),同步提供 BF16 与 NVFP4 两个权重版本。
推荐理由:原文给出 Inkling 的 MoE 架构细节与多模态能力范围,并附 transformers、SGLang、vLLM 多框架部署示例和主流模型基准对比,方便评估其工程落地方案。
Hugging Face 宣布 transformers 在 vLLM 中的推理后端现已在多种架构上跑出与 vLLM 原生手写实现持平或更快的吞吐,模型作者只需通过 `--model-impl transformers` 即可启用,无需再为每个新模型单独移植。
推荐理由:transformers 模型现可在 vLLM 中跑出与原生手写实现持平甚至更快的推理吞吐,模型作者无需再为每个新架构单独移植实现代码。
Hugging Face 与 SkyPilot 联合发布 store: hf 后端,SkyPilot 任务可通过 hf:// URL 把 Hugging Face Bucket 或 Hub 仓库挂载为本地路径,在 20 多个云以及 Kubernetes、Slurm、本地集群的 GPU 上运行,读取模型与数据集免出站流量与 CDN 费用。
推荐理由:Hugging Face Storage 接入 SkyPilot 后,模型和数据集留在 Hub,由 SkyPilot 在多个云上调度 GPU 任务,读取端免出站流量费。
Google Research 与英国 NHS 合作在 Nature Cancer 发表两项配套研究,评估 AI 系统用于乳腺癌筛查的表现。
推荐理由:原文给出大规模前瞻部署的检出率与阅片量数据,并对比双读流程的效率变化,可作为评估 AI 辅助医学影像筛查能否落地的量化参考。
Mistral 发布 Devstral 2(123B)与 Devstral Small 2(24B)两款开源编程模型,同步推出 Mistral Vibe CLI 命令行代理。
推荐理由:Devstral 2 在 SWE-bench Verified 上取得 72.2%,并给出相对 Claude Sonnet 的 7 倍成本效率数据。