应用介绍
在 Kubernetes 上部署大模型训练和推理,GPU 调度、存储和网络配置一环扣一环,很容易踩坑。AI on EKS 提供一套在亚马逊 EKS 上部署 AI 与机器学习工作负载的实测蓝图。
用 Terraform 一键搭建集群,包含 vLLM、Ray、JupyterHub 等常见方案的部署模板。
实测蓝图:可直接复用。
Terraform:一键搭建。
推理训练:vLLM、Ray。
GPU 调度:最佳实践。
用 Terraform 一键搭建集群,包含 vLLM、Ray、JupyterHub 等常见方案的部署模板。
软件功能
实测蓝图:可直接复用。
Terraform:一键搭建。
推理训练:vLLM、Ray。
GPU 调度:最佳实践。

