Allenai 开源 Olmo-core 3：面向万亿参数 MoE 的训练基础设施

Allenai 发布开源训练框架 Olmo-core 3，将 MoE 训练栈从 FSDP 切换到 DDP，并支持 MXFP8 精度。该系统在专家池从 8 扩展到 128 时激活参数维持在约 3.2B，47B MoE 在 8 块 NVIDIA B300 上的吞吐量约为此前 FSDP 实现的 2.7×。