llama-swap

本地想同时用好几个模型，显存却只够加载一个，每次换模型都要手动停服务、改参数、重启。llama-swap 是一个为本地 OpenAI 兼容服务提供可靠模型切换的代理。

请求哪个模型它就自动加载哪个，支持 llama.cpp、vLLM 等后端，兼容 OpenAI 和 Anthropic 接口。

软件功能

自动切换：按需加载。

多后端：llama.cpp 与 vLLM。

兼容接口：OpenAI 与 Anthropic。

单文件：Go 编写。