Hugging Face Blog·· 3 天前精选AI 评分60
NVIDIA 联合 AI4Bharat 开源 2.8 万亿 token 印度语言预训练语料及数据生成管线
Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline
AI 导读
NVIDIA 联合 AI4Bharat（IIT Madras）开源 Nemotron-pretraining-Indic-v1 印度语言预训练语料，覆盖 22 种印度语言共约 2.8 万亿 token，其中 12 种语言同时提供本族文字与罗马化版本。
推荐理由
原文给出了从翻译到质量筛选的完整生成流程与 75/100 阈值等具体参数，读者可据此复现或改造自己的多语种数据管线。
来源：Hugging Face Blog · huggingface.co