哈佛研究:AI 编程智能体生成更多代码,但并未带来更多软件产出
哈佛大学研究者基于 Jellyfish 平台 700 余家软件公司、逾 70 万名员工、约 3 亿条工作事件(2021 年至 2026 年 3 月)的数据发现,AI 编程工具提升了代码生成量,但人工代码审查形成显著瓶颈,几乎没有证据显示企业因此提高了软件产出或减少了用工。审查阶段耗时增加,拉取请求更常需要修改,评审者也会留下更多评论。
哈佛大学研究者基于 Jellyfish 平台 700 余家软件公司、逾 70 万名员工、约 3 亿条工作事件(2021 年至 2026 年 3 月)的数据发现,AI 编程工具提升了代码生成量,但人工代码审查形成显著瓶颈,几乎没有证据显示企业因此提高了软件产出或减少了用工。审查阶段耗时增加,拉取请求更常需要修改,评审者也会留下更多评论。
GitHub 发布开源 AI 代码审查评测基准 ReviewBench,基于 103.9M 真实 pull request 抽取 219 条跨 19 种语言的样本,资深工程师独立复核与 ground truth 一致率达 96.6%。
推荐理由:ReviewBench 把 GitHub 上真实 pull request 的分布固化为可复现评测,附带资深工程师校验的 ground truth 与自提交 leaderboard。
Google 研究人员提出 RRSI 方法,通过逐轮缩减编辑预算与严格评审机制,防止自改进 AI 智能体死记训练任务。在冻结的 Claude Opus 4.8 与 8 个 benchmark 上测试,训练任务最高提升 14.1 分、5 个未见任务最高提升 4.7 分,运行时 token 消耗比未正则化版本减少约 30%。
ABBEL 框架让 LLM 把长程交互历史压缩为自然语言「信念状态」,并用信念打分监督其信息内容,以缓解上下文膨胀。在 CollabBench 协作编码任务中,ABBEL-rec-BG 把与全上下文模型的性能差距缩小约 50%,训练步数从 100 降到 50。其峰值上下文 token 数为 6.01×10²,低于全上下文模型的 14.08×10²。
Fable 在 KernelBench-Mega 提交首个真正 megakernel,在 RTX PRO 6000 Blackwell 上较 PyTorch 基线实现 18.71 倍加速。
Hugging Face 推出开源基准 ScarfBench,用于评估 AI 智能体在企业 Java 跨框架迁移任务上的表现,覆盖 Spring、Jakarta EE、Quarkus 三大生态,包含 34 个应用、204 个迁移任务和约 15.1 万行代码。