跳到正文
热点事件持续更新

Ai2发布科研创意新颖性评测基准

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年10月28日,Ai2发布研究《Old Ideas, Novel Problems》,聚焦大语言模型评估科研创意新颖性的可靠性。研究公开配套基准、数据、代码,以及用于构建新评测集的自动化流水线;评测集基于ICLR 2026同行评审结果建立,包含154个高新颖度人类创意、145个低新颖度人类创意和154个由LLM生成的创意。研究结果显示,GPT与Claude系列模型在判断科研创意新颖性方面可靠性不足。此次发布同时给出论文、评测资源及构建流程,当前进展是相关基准、数据、代码和自动化流水线均已公开。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. Hugging Face Blog
    GPT 与 Claude 能否可靠判断科研创意的新颖性

    Ai2 的研究显示,GPT 与 Claude 系列 LLM 判断科研创意新颖性的可靠性不足。研究发布 Old Ideas, Novel Problems 论文、基准、数据、代码及构建新评测集的自动化流水线,并基于 ICLR 2026 同行评审建立154个高新颖度、145个低新颖度人类创意及154个 LLM 生成创意。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。