应用介绍

7440 亿到 2.8 万亿参数的前沿大模型，按常规要一整台多卡服务器才能跑。colibri 用纯 C 写成、零依赖，把磁盘、内存和显存当作一个统一的推理层级，从磁盘按需流式读取专家权重，让普通和异构硬件也能跑起这些模型。

目前已支持 GLM-5.2/5.3 等九个模型系列，引擎本身非常小。

软件功能

超大模型：744B 到 2.8T 参数的 MoE。

分层存储：磁盘、内存、显存统一调度。

纯 C 零依赖：引擎轻量可移植。

多模型系列：已支持九个模型家族。