Google Research：构建更好的 AI 基准需要多少评分者？

Google Research 论文发现，AI 评测中常用的每项 1–5 名评分者配置往往不足以捕捉人类意见分歧，常需 10 名以上。若目标是多数投票，广度（更多样本）更有效；若要还原意见的全部分歧，深度（更多评分者）才是关键。正确配比下，约 1,000 条标注即可实现高可复现结果，相关模拟器已在 GitHub 开源。