PRX Part 4：数据策略

PRX 系列第四篇详解其预训练数据策略：混合公开与内部数据集、用 VLM 重新描述图像，并基于 Mosaic Streaming（MDS）与 Lance 格式构建流式训练语料。文本编码器从 T5Gemma 切换为 Qwen3-VL 后改为在线计算文本 latent，仅带来约 3–4% 吞吐损失。图像统一以 JPEG quality 92 编码，验证表明首次重编码近乎不可感知。