跳到正文

数据与训练

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

最新精选

第 1–9 条 · 共 9 条
10月16日周五
  1. Hugging Face Blog60

    NVIDIA 联合 AI4Bharat 开源 2.8 万亿 token 印度语言预训练语料及数据生成管线

    NVIDIA 联合 AI4Bharat(IIT Madras)开源 Nemotron-pretraining-Indic-v1 印度语言预训练语料,覆盖 22 种印度语言共约 2.8 万亿 token,其中 12 种语言同时提供本族文字与罗马化版本。

    推荐理由:原文给出了从翻译到质量筛选的完整生成流程与 75/100 阈值等具体参数,读者可据此复现或改造自己的多语种数据管线。

10月15日周四
  1. Simon Willison76

    Anthropic 披露 Q3 营收 168 亿美元,同比增长近 50%,推进 IPO

    Simon Willison 摘录 FT 报道,Anthropic 在投资人日上向投资者披露 Q3 营收 168 亿美元,同比增长近 50%,并计划推进 IPO。三个季度营收依次为 Q1 约 48 亿、Q2 115 亿、Q3 168 亿美元;Q3 每 1 美元算力对应 1.70 美元收入,调整后运营利润率 11%。Anthropic 表示蒸馏收入占总营收 5%–7%,已在 Q3 大幅压缩。

    推荐理由:原文给出 Anthropic 连续三季营收与蒸馏收入占比,读者可据此估算行业蒸馏训练的投入规模。

10月9日周五
  1. Hugging Face Blog67

    用 HuggingChat ML-intern 从一句 prompt 造出 6 个小模型

    作者用 HuggingChat 中的 ML-intern 模式在几天内从零造出 6 个小模型,总计算开销约 103 美元;每个项目从一个自然语言 prompt 出发,由 ML-intern 规划预算、跑基线、训练并把模型与评测直接发布到 Hugging Face Hub。

    推荐理由:原文给出了一套可复用的 ML-intern prompt 写法,包括 Verified facts 区块、先跑基线、带检查的冒烟测试和硬性支出上限,读者可直接套用到自己的项目里。

10月7日周三
9月29日周二
9月22日周二
  1. Latent Space78

    小米发布 MiMo-V2.6-Pro 开源权重模型,1T-A42B 规模、训练成本 $3M

    小米发布 MiMo-V2.6 系列开源全模态模型,MiMo-V2.6-Pro 以 1.02T 总参数、42B 激活参数在 Artificial Analysis 智能指数上以 46 分位列最高分的开源权重模型,另有 MiMo-V2.6-Flash 与最高 20 倍输出速度的 MiMo-V2.6-Pro-UltraSpeed,模型采用 MIT 许可。

    推荐理由:原文给出了 RL 训练配方与开源环境清单,读者可以据此判断后训练成本下降对开源模型格局的影响。

9月3日周四
8月6日周四
  1. Google DeepMind85

    Google DeepMind 的 WeatherNext 模型在气旋预报上取得突破并开源

    Google DeepMind 在 Nature 发表论文,称 WeatherNext AI 模型在气旋路径、强度和风场结构预测上达到 SOTA 精度,平均多出一天预警时间,相当于气象领域约十年的进展。

    推荐理由:论文给出气旋路径与强度预测的精度提升幅度,并同步开放代码与模型权重,便于研究社区复用。

7月31日周五
  1. Microsoft Research72

    微软研究院发布 Echoverse,为计算机使用智能体构建可演化深度训练环境

    微软研究院发布 Echoverse,为计算机使用智能体搭建 12 个训练世界,包括 10 个深度领域世界与 2 个能力世界。在全部 12 个世界上训练的 9B 模型得分从 36.5% 提升到 67.1%,与 GPT-5.4 的 80.7% 相差 14 个百分点。

    推荐理由:论文给出了高保真合成世界与数据库级验证器的搭建方法,并公开四个环境的代码与任务,可供智能体训练复用。