跳到正文
原文
Hugging Face Blog·· 15 天前精选AI 评分63

微软 ThinkingBox 基准:Agent 自称完成,数据库却不认同

The Agent Said It Was Done. The Database Disagreed.

AI 导读

微软联合 Hugging Face 发布 ThinkingBox 基准:用后端数据库终态与副作用评估 AI Agent,覆盖 507 个状态化业务流程、每任务重复 20 次。

推荐理由

原文对比 18 个模型在 507 个状态化工作流上的 pass@1 与 20 次重复一致性,并给出每次可靠任务的成本排序。

来源:Hugging Face Blog · huggingface.co