应用介绍

在 Mac 上给 AI 编程工具提供本地模型，多个请求一来就排队，长上下文还要反复计算。oMLX 是一个面向 Apple Silicon 的大模型推理服务器，在菜单栏里就能管理。

它支持连续批处理和 SSD 缓存，大幅提升并发和长上下文性能，接口兼容 OpenAI。

软件功能

连续批处理：并发请求。

SSD 缓存：长上下文加速。

菜单栏管理：原生体验。

OpenAI 兼容：直接接入。