AWS Machine Learning Blog· Jyothirmai Kottu·· 7 天前AI 评分32
在 Amazon SageMaker AI 上用 llama.cpp 部署决策模型
Deploy decision models with llama.cpp on Amazon SageMaker AI
AI 导读
Amazon SageMaker AI 上的 AWS DLC for llama.cpp 提供两条部署路径：一条走 llama-server 兼容 OpenAI 聊天补全，另一条通过 SemIf 适配器直接返回各选项概率。
来源：AWS Machine Learning Blog · aws.amazon.com