ZSE

ZSE

跨硬件的开源大模型推理引擎

AI官网

应用介绍

在 NVIDIA、AMD 和苹果芯片上跑大模型,往往要换不同的推理框架,配置和性能都不一样。ZSE 是一个开源社区打造的大模型推理引擎,同时支持 NVIDIA GPU、AMD ROCm 和 Apple Silicon。

它也支持模型微调,追求在各种硬件上的高效推理。

软件功能



多硬件:NVIDIA、AMD、苹果。

高效推理:性能优化。

微调:训练支持。

应用截图