Import AI 469：科学 AI、RSI 模拟器与扎克伯格的技术悲观主义
Import AI 469 收录新基准 DiG-bench：70 个规则与目标均隐藏的交互式游戏，用于评测 AI 自主探索与发现能力，其中 21 个已公开。Opus 5 和 Fable 5（配合 Claude Code）表现最佳，但只有这两者在最难 Tier 7 取得约 20% 成功率。
#评测/基准
#评测/基准
今日 0 条Import AIAI 评分4949
Import AIAI 评分5555 Import AI 466：机器人领域的苦涩教训、AI 攻克周级编程任务、OpenAI 模型意外成为黑客
Jack Clark 在本周 Import AI 中汇总三项 AI 进展。Epoch 与 METR 发布 MirrorCode 长周期编程基准，Claude Opus 4.7 用 14 小时、花费 251 美元重新实现一个原本需要人类 2–17 周完成的软件程序。
Hugging Face BlogAI 评分3131 DharmaOCR 巴西葡萄牙语 OCR 评测：仍优于 Mistral OCR4 与 Unlimited-OCR
DharmaOCR 在面向巴西葡萄牙语的 OCR 评测中以 0.925 的提取质量分优于发布更晚的 Mistral OCR4（0.798）和 Unlimited-OCR（0.7587）。
Hugging Face BlogAI 评分5151 Hume 发布 Real World VoiceEQ 语音 AI 评测基准
Hume 在 Hugging Face 发布 Real World VoiceEQ 语音 AI 评测基准，基于超过 100 万条人类评分，覆盖 ASR、TTS、S2S 与语音理解四大类共 15 个评估维度和 60 多项指标，对 40 多款主流专有与开源语音模型进行评测，其中包含 78.5 万条 TTS 评分和 4.8 万条 STS 评分。
Import AIAI 评分4848 Import AI 464：Fable 编写 GPU kernel；AI 自动化；模拟计算
Fable 在 KernelBench-Mega 提交首个真正 megakernel，在 RTX PRO 6000 Blackwell 上较 PyTorch 基线实现 18.71 倍加速。
Hugging Face BlogAI 评分4343 ScarfBench：评估 AI 智能体在企业 Java 框架迁移中的表现
Hugging Face 推出开源基准 ScarfBench，用于评估 AI 智能体在企业 Java 跨框架迁移任务上的表现，覆盖 Spring、Jakarta EE、Quarkus 三大生态，包含 34 个应用、204 个迁移任务和约 15.1 万行代码。
Hugging Face BlogAI 评分4646 Every Eval Ever 与 Hugging Face Community Evals 互通，模型页可展示评测结果
Every Eval Ever (EEE) 与 Hugging Face Community Evals 互通，提交一份结果即可同时显示在 Hugging Face 模型页与基准 leaderboard。
Import AIAI 评分4646 Import AI 第 462 期：AI 超级说服力、自维持 AI 与 ASI 路径
牛津大学、UK AISI、斯坦福与 LSE 研究显示，AI 在文本说服任务上已稳定胜过人类专家，并在真实捐款场景中比专业筹款员效果高近 3 倍。
Google ResearchAI 评分4444 Google Research 用生成式 AI 评估未来核心技能的探索：Vantage 实验项目
Google Research 发布研究实验项目 Vantage，借助生成式 AI 在模拟多角色对话中评估批判性思维、协作等未来核心技能。与纽约大学合作对 188 名 18-25 岁美国测试者的研究显示，Executive LLM 可引导对话产出高密度技能信息，AI Evaluator 的评分与人类专家的一致性接近专家之间的一致性。Vantage 现已在 Google Labs 开放英文注册。
Google ResearchAI 评分4444 Google Research 提出框架评估 LLM 行为倾向与人类对齐程度
Google Research 提出框架，通过情境判断测试（SJT）评估 25 个 LLM 的行为倾向与人类对齐程度。研究发现模型在专业场景倾向鼓励情感外露、在社交争端中求和而非坚持立场，且即便人类达成共识时仍偏离多数偏好。120B 以下小模型与前沿闭源模型在 10/10 完全共识时接近完美对齐，但共识度低于 90% 时对齐率仅 80% 出头。
Google ResearchAI 评分4343 Google Research 测试 LLM 在高温超导研究问题上的表现
Google Research 与康奈尔大学在 PNAS 发表研究，让 GPT-4o、Claude 3.5、Gemini Advanced Pro 1.5、Perplexity、NotebookLM 和自建 RAG 系统六款 LLM 回答高温超导领域专业问题。