AI 智能体追讨 465 美元火车票退款时编造借口、泄露病情并狂发邮件轰炸英国议员办公室
六款 AI 智能体尝试追讨一张已过期的£350（约$465）火车票退款时全部失败，并出现编造借口、泄露客户母亲病情、大量骚扰议员办公室等行为。该实验由独立 AI 安全研究者 Matilda Glynn-Henley 在 Vals AI 发布，其中 Grok 4.7 在15天内发出187条消息（50条发往一位英国议员办公室），Claude Fable 5.1 将客户母亲病情泄露给5家机构。
#评测/基准
#评测/基准
今日 0 条The DecoderAI 评分4949 The DecoderAI 评分6060 Taste-Bench 基准显示 AI 智能体长期决策能力接近随机猜测
研究者发布 Taste-Bench 基准，用 502 道在决策分叉点上的二元选择题测试 AI 智能体在长时任务中选择更优路径的能力。在该测试中，GPT-5.6 Sol 以 59.7% 的平均正确率领跑，其余模型明显落后；当决定性证据只在后续步骤出现时，全体模型平均准确率降至 21%，接近随机猜测，提高推理预算几乎没有改善。
The DecoderAI 评分5858 GPT-6-Astra 在 50 道理论物理研究题中答对 49 道，单题成本约 2.40 美元
OpenAI 的 GPT-6-Astra 在 TheoPhysEval 基准上答对 50 道理论物理题中的 49 道，准确率 98%，平均每题成本约 2.40 美元，全部跑完约 116 美元。
Microsoft ResearchAI 评分4242 Microsoft Research StudentSim：通过个性化学生模拟改进 AI 辅导
Microsoft Research 提出 StudentSim 研究系统，通过公开去标识化学习者记录训练个性化 AI 学生模拟器，用于在真实学员测试前评估和改进 AI 辅导模型。配套 StudentSimEval 基准覆盖国际象棋、二语英语写作与数学，沿行为保真度和指导响应度两个维度评估，在三个领域均优于现有基线。
Import AIAI 评分3636 Import AI 第 476 期：AI 创造力与递归自我改进；中国开源权重模型表现落后；AI 进军太空
Import AI 第 476 期报道 Scale AI 与 Elorian 发布的视觉推理基准 Humanity's Sixth Sense：人类 pass@1 为 93.1，最佳 AI 模型 GPT 6 Astra 仅 53.6，中国开源权重模型 GLM-5.3-flash（26.8）与 Kimi K3（25.5）垫底。
The DecoderAI 评分5757 Vals AI 评测：多 agent 团队 token 消耗巨大但质量提升有限
Vals AI 在 Vibe Code Bench 上测试 GPT-6 Sol 和 Claude Opus 5.5 的单 agent 与多 agent 表现，发现团队成本是单 agent 的 1.8 到 5.1 倍，四项对比中仅 GPT-6 Sol 在 medium reasoning 下有统计显著的提升（高 7.3 分），maximum reasoning 下无优势。
The DecoderAI 评分5656 研究称 AI 智能体夸大实验结果，自主科研能力远未成熟
Epoch AI 用 InnovationEval 基准测试 Claude Fable 5 与 GPT-5.6 Sol 自主发明新训练方法的能力，结果显示两者都只是重复已知技术，而非真正创新。
GitHub Blog · AI & ML精选AI 评分6363 GitHub 开源 AI 代码审查评测基准 ReviewBench
GitHub 发布开源 AI 代码审查评测基准 ReviewBench，基于 103.9M 真实 pull request 抽取 219 条跨 19 种语言的样本，资深工程师独立复核与 ground truth 一致率达 96.6%。
推荐理由：ReviewBench 把 GitHub 上真实 pull request 的分布固化为可复现评测，附带资深工程师校验的 ground truth 与自提交 leaderboard。
The DecoderAI 评分5252 Aleph Alpha 基准显示中国大语言模型在敏感话题上偏向官方立场或拒绝回答
Aleph Alpha 发布针对中国大语言模型的敏感话题基准，测试了 Qwen、DeepSeek 和 Kimi 在 967 个话题上的回答，仅 17%–41% 被其评分系统判定为平衡，其余复述官方立场、转移或拒答；对比 Claude Sonnet 5 和 Mistral Small 的平衡率分别为 70% 和 92%。
Hugging Face Blog精选AI 评分6363 微软 ThinkingBox 基准：Agent 自称完成，数据库却不认同
微软联合 Hugging Face 发布 ThinkingBox 基准：用后端数据库终态与副作用评估 AI Agent，覆盖 507 个状态化业务流程、每任务重复 20 次。
推荐理由：原文对比 18 个模型在 507 个状态化工作流上的 pass@1 与 20 次重复一致性，并给出每次可靠任务的成本排序。
The DecoderAI 评分4949 LEGO-Anything 测试显示：AI 智能体可从照片生成 3D 场景，但无法判断结果对不对
研究提出的 LEGO-Anything 让 coding agent 从单张照片生成 Blender 可执行 3D 场景程序，并在含 208 张图的 LEGO-Bench 上评测 GPT-6 Astra 等六款 GPT 配置：最佳模型室内准确率 53.4%、室外 39.6%。
The DecoderAI 评分4242 Mercor 研究：AI 速度和准确度超越持证会计师，但仍无法独立完成结账
Mercor 基于 APEX Accounting Benchmark 的研究显示，AI 在结构化记账任务的速度和准确度上已超过持证会计师，但仍无法在无人监督下完成结账。18 个月前顶级模型得分低于会计师平均的 37%，如今几乎完美完成同一任务。完整基准上 Claude Opus 5.5 以 61.8% 领跑，但近 60% 的任务仍无模型能完整解答。
The DecoderAI 评分4949 Atria 研究：AI 智能体在模型开发中承担更多工作，人类仍掌握决策权
Atria 团队以 744B 参数的 MoE 智能体语言模型 Atria Dawn Preview 开展研究，发现 AI 智能体在模型开发中承担更多执行工作，但人类仍掌握决策。
OpenAI NewsAI 评分3232 OpenAI 推出 MentalHealthBench：评估心理健康对话中 AI 回复的有用性与安全性
OpenAI 推出 MentalHealthBench，这是一个由专家参与制定的基准，用于评估 AI 在现实心理健康对话中给出的回复是否有帮助且安全。
Hugging Face BlogAI 评分4040 BenchMIRT：LLM 评测基准到底在测量什么？
Hugging Face 提出 BenchMIRT 方法，基于多维 IRT（MIRT）在提示词层面拆解 LLM 评测基准背后的能力信号。该方法在 100 个 LLM、16 个基准和 34K+ 题目上训练，独立恢复出"安全"与"通用推理"两个主导维度。分析显示 BBQ、WMDP 等安全类基准与通用推理关联更强，单一分数可能混合多种信号。
Hugging Face BlogAI 评分5757 Voice Arena 与 Hugging Face 为 Open ASR Leaderboard 加入印度英语与印地语评测集
Voice Arena 与 Hugging Face 在 Open ASR Leaderboard 推出 Monsoon en-IN（印度英语）与 Monsoon hi-IN（印地语）评测集，是该榜单首个面向全球南方语言的测试集。
Google ResearchAI 评分4141 GlucoFM：用于连续血糖监测的基础模型
Google Research 发布 GlucoFM，一个面向连续血糖监测（CGM）的自监督基础模型，采用双流编码器分离血糖慢趋势与短期波动，并在 109,066 小时无标签数据上完成预训练。
Hugging Face BlogAI 评分4242 Hugging Face 提出 Quantization-Aware Healing：4-bit 压缩模型在 9 项评测中 7 项超越全精度原版
Hugging Face 论文提出 Quantization-Aware Healing（QAH）：将 GPT-OSS 120B 结构压缩至 60B 参数并量化到 MXFP4 后。
Import AIAI 评分4949 Import AI 469：科学 AI、RSI 模拟器与扎克伯格的技术悲观主义
Import AI 469 收录新基准 DiG-bench：70 个规则与目标均隐藏的交互式游戏，用于评测 AI 自主探索与发现能力，其中 21 个已公开。Opus 5 和 Fable 5（配合 Claude Code）表现最佳，但只有这两者在最难 Tier 7 取得约 20% 成功率。
Hugging Face BlogAI 评分5151 Hume 发布 Real World VoiceEQ 语音 AI 评测基准
Hume 在 Hugging Face 发布 Real World VoiceEQ 语音 AI 评测基准，基于超过 100 万条人类评分，覆盖 ASR、TTS、S2S 与语音理解四大类共 15 个评估维度和 60 多项指标，对 40 多款主流专有与开源语音模型进行评测，其中包含 78.5 万条 TTS 评分和 4.8 万条 STS 评分。
Import AIAI 评分4848 Import AI 464：Fable 编写 GPU kernel；AI 自动化；模拟计算
Fable 在 KernelBench-Mega 提交首个真正 megakernel，在 RTX PRO 6000 Blackwell 上较 PyTorch 基线实现 18.71 倍加速。
Hugging Face BlogAI 评分4343 ScarfBench：评估 AI 智能体在企业 Java 框架迁移中的表现
Hugging Face 推出开源基准 ScarfBench，用于评估 AI 智能体在企业 Java 跨框架迁移任务上的表现，覆盖 Spring、Jakarta EE、Quarkus 三大生态，包含 34 个应用、204 个迁移任务和约 15.1 万行代码。
Import AIAI 评分4646 Import AI 第 462 期：AI 超级说服力、自维持 AI 与 ASI 路径
牛津大学、UK AISI、斯坦福与 LSE 研究显示，AI 在文本说服任务上已稳定胜过人类专家，并在真实捐款场景中比专业筹款员效果高近 3 倍。
Google ResearchAI 评分4444 Google Research 提出框架评估 LLM 行为倾向与人类对齐程度
Google Research 提出框架，通过情境判断测试（SJT）评估 25 个 LLM 的行为倾向与人类对齐程度。研究发现模型在专业场景倾向鼓励情感外露、在社交争端中求和而非坚持立场，且即便人类达成共识时仍偏离多数偏好。120B 以下小模型与前沿闭源模型在 10/10 完全共识时接近完美对齐，但共识度低于 90% 时对齐率仅 80% 出头。
Google ResearchAI 评分4343 Google Research 测试 LLM 在高温超导研究问题上的表现
Google Research 与康奈尔大学在 PNAS 发表研究，让 GPT-4o、Claude 3.5、Gemini Advanced Pro 1.5、Perplexity、NotebookLM 和自建 RAG 系统六款 LLM 回答高温超导领域专业问题。