NVIDIA 联合 AI4Bharat 开源 2.8 万亿 token 印度语言预训练语料及数据生成管线
NVIDIA 联合 AI4Bharat(IIT Madras)开源 Nemotron-pretraining-Indic-v1 印度语言预训练语料,覆盖 22 种印度语言共约 2.8 万亿 token,其中 12 种语言同时提供本族文字与罗马化版本。
推荐理由:原文给出了从翻译到质量筛选的完整生成流程与 75/100 阈值等具体参数,读者可据此复现或改造自己的多语种数据管线。
NVIDIA 联合 AI4Bharat(IIT Madras)开源 Nemotron-pretraining-Indic-v1 印度语言预训练语料,覆盖 22 种印度语言共约 2.8 万亿 token,其中 12 种语言同时提供本族文字与罗马化版本。
推荐理由:原文给出了从翻译到质量筛选的完整生成流程与 75/100 阈值等具体参数,读者可据此复现或改造自己的多语种数据管线。
Google Research 发布基于 TEE 的下一代联邦学习系统,通过 KMS 策略校验、访问策略写入 Rekor 公开透明度日志和 Python 训练程序在 TEE 内执行,实现端到端可验证的数据匿名化与差分隐私保证。
ServiceNow CoreAI 构建 AutoSynthData,通过诊断任务识别目标模型的能力短板,由更强的教师模型生成新的可执行训练任务,并随模型改进动态调整课程。生成的任务由系统规范、用户提示词和验证器三部分组成,需通过可行性、真实性和难度检查后才用于后训练。该流水线在 EnterpriseOps Gym 上得到验证,针对企业环境的工具、API 与数据状态提供训练信号。
OpenAI 给出前沿 AI 训练安全案例(safety case)的早期准则,内容覆盖技术防护措施、运营实践以及 misalignment 事件调查。这些准则面向前沿 AI 训练阶段的安全案例建设,目前仍处于早期探索阶段。
Atria 团队以 744B 参数的 MoE 智能体语言模型 Atria Dawn Preview 开展研究,发现 AI 智能体在模型开发中承担更多执行工作,但人类仍掌握决策。
Google Research 推出 MilleMiglia,一个用 C++ 编写的实例生成器,为中程物流问题生成真实且保护隐私的基准数据,源代码与文档已在 GitHub 开放。该领域因企业将网络拓扑与需求量视为敏感信息,长期缺乏公开高质量数据。MilleMiglia 将中程物流建模为时空图上的多商品流问题,节点代表特定时段的配送中心,弧代表车辆移动或货物暂存。
Google Research 提出 Retrieve-for-Train 框架,用离线强化学习发现奖励对齐的 fan-out 并编译为监督数据,再蒸馏进 53.9M 参数的扩散检索器,推理时单次非自回归生成完整查询集合,无需消耗 CoT 思考 token。该框架的 fan-out 语言模型基于 4B 开源模型 Gemma3-4B 与 Qwen3-4B 微调,论文发表于 ICML 2026。
Google Research 提出 ToolGrad,用文本“梯度”迭代生成工具使用数据集:先生成真值 API 工作流,再反向标注用户提示,数据生成通过率接近 100%。
Google Research 评估将 UK Biobank 欧洲人群 GWAS 迁移到 Biobank Japan 近 20 万日本人的 PRS 性能,覆盖 8 个临床性状。
Google Research 发布 GlucoFM,一个面向连续血糖监测(CGM)的自监督基础模型,采用双流编码器分离血糖慢趋势与短期波动,并在 109,066 小时无标签数据上完成预训练。
Import AI 470 收录 METR 的 AI 加速科学发现分析,以及 SPADE 和 Hawkeye 两项工作。METR 发现 AI 对网络安全漏洞发现的加速最明显,数学研究仅小幅加速,AI 研究本身几乎测不到加速。SPADE 让 LLM 自博弈生成可执行训练环境,在 Qwen3-30B-A3B-Instruct-2507 上把游戏环境套件平均分提到 58.3,较基线高 8.1。
Google Research 提出 Biomarker Discovery Framework,一种在人类监督下从可穿戴传感器数据中优先级排序候选生物标志物的多智能体系统。
微软研究院推出研究模型 CARE-X,一个覆盖胸部 X 光多种解读任务的放射学 VLM,可同时生成自由文本报告并输出带置信度的结构化预测。它基于 SigLIP2-so400M 视觉编码器和 Phi-4-mini-instruct(3.8B),通过分类、定位与语言建模的联合训练及 DAPO 强化学习优化临床正确性,在 ReXVQA 上达到 94% 整体准确率。
Hugging Face 新论文将 LLM 知识蒸馏峰值显存从约 250GB 降至约 128GB,方法是离线缓存教师模型 top-100 logits 并采用分块融合 KL 损失。该方案使单张 H200 即可完成长上下文知识蒸馏训练,无需再依赖数百张 GPU 与张量并行,让大规模实验更易开展。
微软研究院发布 Echoverse,为计算机使用智能体搭建 12 个训练世界,包括 10 个深度领域世界与 2 个能力世界。在全部 12 个世界上训练的 9B 模型得分从 36.5% 提升到 67.1%,与 GPT-5.4 的 80.7% 相差 14 个百分点。
推荐理由:论文给出了高保真合成世界与数据库级验证器的搭建方法,并公开四个环境的代码与任务,可供智能体训练复用。
ABBEL 框架让 LLM 把长程交互历史压缩为自然语言「信念状态」,并用信念打分监督其信息内容,以缓解上下文膨胀。在 CollabBench 协作编码任务中,ABBEL-rec-BG 把与全上下文模型的性能差距缩小约 50%,训练步数从 100 降到 50。其峰值上下文 token 数为 6.01×10²,低于全上下文模型的 14.08×10²。
Google Research 提出 SensorFM 大型传感器基础模型,基于五百万参与者超过一万亿分钟的多模态传感器信号自监督预训练而成。最大模型 SensorFM-B(100M 参数)在重建损失上较最小变体降低 31%,下游分类任务 AUC 平均提升 9%,回归任务 Pearson 系数提升 21%。
Google Earth AI 发布矢量化数据集,覆盖英国超过 130,000 km² 农田,可识别树篱、石墙、小树林等传统卫星难以捕捉的细尺度生态要素。该框架基于在 3 亿张卫星图像上预训练的 Vision-Transformer,并结合亚米级影像与 1 米 LiDAR 双层标注与 Polsby–Popper 紧凑度评分,将像素自动转化为林地、灌木丛与线性走廊等可规划要素。
Import AI 第 457 期涉及疑似 Stuxnet 前身的 fast16.sys 病毒——它在 20 多年前就专门篡改 LS-DYNA、PKPM 等高精度科学计算软件。
Google DeepMind 发布论文提出 Decoupled DiLoCo,一种把训练拆分为解耦计算岛屿、岛屿间以异步数据流通信的分布式架构,可在跨数据中心的条件下训练 LLM,带宽需求更低且硬件容错性更强。
Google Research 在 TMLR 发表 Simula 框架,将合成数据生成重构为机制设计问题,沿全局多样性、局部多样性、复杂化和质量检查四个轴从零推理生成数据。
Google Research 提出的 MoGen 模型利用 PointInfinity 点云流匹配技术合成神经元三维形态,将 PATHFINDER 连接组重建模型的错误率降低 4.4%,相当于在小鼠全脑规模下节省 157 人年的人工校对工作。该论文将在 ICLR 2026 上发表,是现代生成式 AI 首次推动连接组重建达到当前最优水平,MoGen 已作为开源模型发布。
Berkeley AI Research 提出 SPEX 与 ProxySPEX,将可解释性中的交互发现从数十个组件扩展到数千个。ProxySPEX 利用层级结构以约 10x 更少的消融达到同等效果;在修改版电车难题中 GPT-4o mini 正确率仅 8%,SPEX 定位出两个 trolley 与 pulling、lever 的高阶协同,替换这四个词后失败率降到近零。
Berkeley AI Research 提出分治式价值学习,替代 TD learning 做 off-policy RL。它把轨迹一分为二、用子段值更新整段值,把 Bellman 递归次数从线性降到对数级。作者称与 Aditya 的合作首次将该思路扩展到 goal-conditioned RL 的复杂任务,最优子目标 w 的选取仍未解决。
研究者为 word2vec 给出定量且可预测的闭式理论,证明在若干温和近似下其学习问题可归约为无权重最小二乘矩阵分解,最终学到的表示等于对一个由语料统计与超参数定义的矩阵 M* 做 PCA。