Google Research 提出框架评估 LLM 行为倾向与人类对齐程度
Google Research 提出框架,通过情境判断测试(SJT)评估 25 个 LLM 的行为倾向与人类对齐程度。研究发现模型在专业场景倾向鼓励情感外露、在社交争端中求和而非坚持立场,且即便人类达成共识时仍偏离多数偏好。120B 以下小模型与前沿闭源模型在 10/10 完全共识时接近完美对齐,但共识度低于 90% 时对齐率仅 80% 出头。
Google Research 提出框架,通过情境判断测试(SJT)评估 25 个 LLM 的行为倾向与人类对齐程度。研究发现模型在专业场景倾向鼓励情感外露、在社交争端中求和而非坚持立场,且即便人类达成共识时仍偏离多数偏好。120B 以下小模型与前沿闭源模型在 10/10 完全共识时接近完美对齐,但共识度低于 90% 时对齐率仅 80% 出头。
Google Research 论文发现,AI 评测中常用的每项 1–5 名评分者配置往往不足以捕捉人类意见分歧,常需 10 名以上。若目标是多数投票,广度(更多样本)更有效;若要还原意见的全部分歧,深度(更多评分者)才是关键。正确配比下,约 1,000 条标注即可实现高可复现结果,相关模拟器已在 GitHub 开源。
Google 发布白皮书,给出破解 256 位椭圆曲线离散对数问题(ECDLP-256)所需的最新量子资源估算,所需物理比特相比此前减少约 20 倍。白皮书提出两种量子电路,分别使用不到 1200 和 1450 个逻辑比特、7000 万至 9000 万个 Toffoli 门,预计可在不到 50 万个物理比特上几分钟内执行。
Google DeepMind 公布 AI 指针研究,提出把传达上下文与意图的负担从用户转移到计算机的四项交互原则。实验性指针由 Gemini 驱动,可在 Google AI Studio 中指向并语音编辑图片或查找地点;Chrome 已支持用指针就网页中关心的部分向 Gemini 提问,Googlebook 的 Magic Pointer 也将很快推出。
推荐理由:文章给出四项交互原则并说明指针如何借助视觉与语义上下文理解用户意图,可供判断 AI 交互入口的走向。
Google 发布 Vibe Coding XR 工作流,借助 Gemini 与 XR Blocks 框架,将自然语言提示词在不到 60 秒内直接生成可在 Android XR 头显运行的物理感知应用。
Google Research 发布向量压缩算法 TurboQuant,称可在零精度损失下实现 KV cache 与向量搜索的极致压缩。该方法由 PolarQuant 与 QJL 两步组成,将于 ICLR 2026 公布。测试覆盖 LongBench、Needle In A Haystack、RULER 等长上下文基准,基于 Gemma 和 Mistral 等开源 LLM 验证。
Google Research 在 Google Earth AI 旗下提出 S2Vec 自监督框架,将建成环境栅格化为多层图像并用 masked autoencoding 生成地点的通用嵌入向量。在社会经济类基准(如美国人口密度、中位收入)的零样本地理适配任务上优于 SATCLIP、GeoCLIP 等基线,但树冠、海拔等环境任务仍有不足;与图像嵌入多模态融合可进一步提升性能。
Google Research 与英国 NHS 合作在 Nature Cancer 发表两项配套研究,评估 AI 系统用于乳腺癌筛查的表现。
推荐理由:原文给出大规模前瞻部署的检出率与阅片量数据,并对比双读流程的效率变化,可作为评估 AI 辅助医学影像筛查能否落地的量化参考。
Google Research 与康奈尔大学在 PNAS 发表研究,让 GPT-4o、Claude 3.5、Gemini Advanced Pro 1.5、Perplexity、NotebookLM 和自建 RAG 系统六款 LLM 回答高温超导领域专业问题。
Google Research 发布 Groundsource 方法,借助 Gemini 大语言模型从全球 80 种语言的新闻报道中提取洪水事件,首批公开数据集包含 260 万条覆盖 150 多个国家、跨度 2000 年至今的城市洪水记录。
Google Research 与 Beth Israel Deaconess Medical Center 合作,在真实门诊场景中开展了 AMIE 对话式诊断 AI 的前瞻性可行性研究。
推荐理由:在真实门诊流程中检验了 AMIE 对话式诊断 AI 的可行性与安全性,并盲评比较其与主治医生的诊断质量,为医疗 AI 的临床落地提供了前瞻性证据。