OpenLLM

想在自己的服务器上用 DeepSeek、Llama 等开源模型替代 OpenAI，部署、量化、接口兼容都要一点点折腾。OpenLLM 是 BentoML 的把任意开源大模型一键部署为 OpenAI 兼容接口的工具。

一条命令即可启动模型服务，自带聊天界面，也能部署到 BentoCloud 等云端。

软件功能

一键部署：命令行启动。

OpenAI 兼容：无缝替换。

多模型：DeepSeek、Llama 等。

聊天界面：开箱可用。