AWS Machine Learning Blog· Pierre Lienhart·· 53 分钟前精选AI 评分61
Deepgram 如何将 Nova-3 语音转文本模型迁移至 AWS Trainium2 并优化推理
How Deepgram optimized voice AI at scale with AWS Trainium
AI 导读
Deepgram 与 AWS 将 Nova-3 语音转文本模型从标准 PyTorch 移植到 AWS Trainium2，用于离线批处理推理。最终配置在单台 Amazon EC2 trn2.3xlarge 上运行 8 个模型副本，每美元可处理的音频量较 Deepgram 此前使用的计算选项提高 11–70%。
推荐理由
文章拆解了从 PyTorch 移植、融合内核到 Rust 并行运行时的优化路径，并给出较原有计算选项每美元音频处理量提升 11–70% 的实测结果。
来源：AWS Machine Learning Blog · aws.amazon.com