Apple On-Device OpenAI

想用苹果系统自带的端侧大模型,但现有代码全是照着 OpenAI 接口写的,对不上。这个项目搭好桥:把 Apple 端侧模型包装成 OpenAI 兼容接口的开源服务,在本机跑起一个 OpenAI 兼容的服务端,后面接的是苹果的端侧模型,原来调用 OpenAI 的代码几乎不用改就能用上本地模型,免费又私密。macOS 应用,开源。

软件功能

端侧模型：调用苹果系统的端侧大模型。

OpenAI 兼容：提供 OpenAI 兼容接口。

本地运行：在本机运行不上云。

开源免费：开源项目,免费使用。