微软 ThinkingBox 基准:Agent 自称完成,数据库却不认同
微软联合 Hugging Face 发布 ThinkingBox 基准:用后端数据库终态与副作用评估 AI Agent,覆盖 507 个状态化业务流程、每任务重复 20 次。
推荐理由:原文对比 18 个模型在 507 个状态化工作流上的 pass@1 与 20 次重复一致性,并给出每次可靠任务的成本排序。
微软联合 Hugging Face 发布 ThinkingBox 基准:用后端数据库终态与副作用评估 AI Agent,覆盖 507 个状态化业务流程、每任务重复 20 次。
推荐理由:原文对比 18 个模型在 507 个状态化工作流上的 pass@1 与 20 次重复一致性,并给出每次可靠任务的成本排序。
ServiceNow CoreAI 构建 AutoSynthData,通过诊断任务识别目标模型的能力短板,由更强的教师模型生成新的可执行训练任务,并随模型改进动态调整课程。生成的任务由系统规范、用户提示词和验证器三部分组成,需通过可行性、真实性和难度检查后才用于后训练。该流水线在 EnterpriseOps Gym 上得到验证,针对企业环境的工具、API 与数据状态提供训练信号。
Hugging Face 上线 Open TTS Leaderboard,用客观指标评测开源多语言 TTS 与声音克隆模型,单次评测耗时从收集投票的数周缩短到数小时。
推荐理由:开源 TTS 模型已超 8K,人工投票榜单难以跟上发布节奏,这份榜单用客观指标评估可理解度、速度与音色相似度。
ProvenanceGuard 是为 MCP 智能体设计的生成后验证层,在不重训智能体的前提下保留工具输出的来源身份,识别事实成立但归属错误的「跨来源混淆」。在医疗智能体的 281 条真实轨迹上,专家判定应拦截的 139 条断言被它拦下 138 条,来源匹配准确率约 86%,另有 67 条被专家认为有据的断言被送交审查或修复。
Hugging Face 提出 BenchMIRT 方法,基于多维 IRT(MIRT)在提示词层面拆解 LLM 评测基准背后的能力信号。该方法在 100 个 LLM、16 个基准和 34K+ 题目上训练,独立恢复出"安全"与"通用推理"两个主导维度。分析显示 BBQ、WMDP 等安全类基准与通用推理关联更强,单一分数可能混合多种信号。
Voice Arena 与 Hugging Face 在 Open ASR Leaderboard 推出 Monsoon en-IN(印度英语)与 Monsoon hi-IN(印地语)评测集,是该榜单首个面向全球南方语言的测试集。
Hugging Face 论文提出 Quantization-Aware Healing(QAH):将 GPT-OSS 120B 结构压缩至 60B 参数并量化到 MXFP4 后。
Hugging Face 联合 1,221 名社区成员在 19 天内用 Claude Code、Codex、Cursor 等编码智能体逐条复现 ICML 2026 的 2,226 篇论文,发布 6,816 份 Trackio logbook 和 35,908 条公开裁决。
推荐理由:原文公开了 35,908 条裁决结果和多个被推翻的论文案例,可作为用编码智能体批量复现会议的参考方法。
ALTK-Evolve 与 ACE 都是让智能体从自身轨迹学习的记忆系统,差异在交付方式:ACE 每步注入完整 playbook,ALTK-Evolve 按任务选择性检索 guideline。
Hume 在 Hugging Face 发布 Real World VoiceEQ 语音 AI 评测基准,基于超过 100 万条人类评分,覆盖 ASR、TTS、S2S 与语音理解四大类共 15 个评估维度和 60 多项指标,对 40 多款主流专有与开源语音模型进行评测,其中包含 78.5 万条 TTS 评分和 4.8 万条 STS 评分。
Hugging Face 推出开源基准 ScarfBench,用于评估 AI 智能体在企业 Java 跨框架迁移任务上的表现,覆盖 Spring、Jakarta EE、Quarkus 三大生态,包含 34 个应用、204 个迁移任务和约 15.1 万行代码。