GitHub 开源 AI 代码审查评测基准 ReviewBench
GitHub 发布开源 AI 代码审查评测基准 ReviewBench,基于 103.9M 真实 pull request 抽取 219 条跨 19 种语言的样本,资深工程师独立复核与 ground truth 一致率达 96.6%。
推荐理由:ReviewBench 把 GitHub 上真实 pull request 的分布固化为可复现评测,附带资深工程师校验的 ground truth 与自提交 leaderboard。
GitHub 发布开源 AI 代码审查评测基准 ReviewBench,基于 103.9M 真实 pull request 抽取 219 条跨 19 种语言的样本,资深工程师独立复核与 ground truth 一致率达 96.6%。
推荐理由:ReviewBench 把 GitHub 上真实 pull request 的分布固化为可复现评测,附带资深工程师校验的 ground truth 与自提交 leaderboard。
Google Research 与 NASA JPL 在 PNAS 上发表论文,提出 MAPL-EMIT 深度学习框架,将 NASA EMIT 卫星高光谱数据自动转化为全球甲烷点源图。
Import AI 470 收录 METR 的 AI 加速科学发现分析,以及 SPADE 和 Hawkeye 两项工作。METR 发现 AI 对网络安全漏洞发现的加速最明显,数学研究仅小幅加速,AI 研究本身几乎测不到加速。SPADE 让 LLM 自博弈生成可执行训练环境,在 Qwen3-30B-A3B-Instruct-2507 上把游戏环境套件平均分提到 58.3,较基线高 8.1。
Google Research 论文发现,AI 评测中常用的每项 1–5 名评分者配置往往不足以捕捉人类意见分歧,常需 10 名以上。若目标是多数投票,广度(更多样本)更有效;若要还原意见的全部分歧,深度(更多评分者)才是关键。正确配比下,约 1,000 条标注即可实现高可复现结果,相关模拟器已在 GitHub 开源。