AWS Machine Learning Blog· Ananth Raghavendra·· 7 天前AI 评分45
如何使用 Ray LLM 深度学习容器在 Amazon EKS 上运行多节点推理
Run multi-node inference workloads using Ray LLM Deep Learning Containers
AI 导读
AWS 推出 Ray LLM 深度学习容器，可在 Amazon EKS 上将单个大语言模型跨两个 GPU 节点部署，实现 prefill 与 decode 分离推理。
来源：AWS Machine Learning Blog · aws.amazon.com