NarrateAI 在 Amazon Bedrock 上实现生产级 LLM 质量保障

AWS 的 NarrateAI 团队在 Amazon Bedrock 上给出五种生产级 LLM 质量保障技术，支撑面向 4000 多名 AWS 高管的实时业务数据问答。约 90% 的查询走单次快速路径，单次查询混合成本约 1.4 次 LLM 调用，比一律采用多批次策略减少 72% 的调用量。逐段并行的流式评估把首内容时间压到 13.2 秒，相比顺序后置评估降低 86.8%，数值准确率约 99%。