Hugging Face Blog·· 15 天前精选AI 评分63
微软 ThinkingBox 基准:Agent 自称完成,数据库却不认同
The Agent Said It Was Done. The Database Disagreed.
AI 导读
微软联合 Hugging Face 发布 ThinkingBox 基准:用后端数据库终态与副作用评估 AI Agent,覆盖 507 个状态化业务流程、每任务重复 20 次。
推荐理由
原文对比 18 个模型在 507 个状态化工作流上的 pass@1 与 20 次重复一致性,并给出每次可靠任务的成本排序。
来源:Hugging Face Blog · huggingface.co