MNN

想在手机和嵌入式设备上跑大模型，普通推理框架体积大、速度慢，还费电。MNN 是阿里巴巴久经实战检验的轻量高速推理引擎，为端侧大模型和边缘 AI 提供高性能支持。

它支持 ARM、Vulkan 等多种后端，有安卓端的本地大模型聊天应用，能离线运行 Qwen 等模型。

软件功能

轻量高速：端侧优化。

多后端：ARM、Vulkan、GPU。

端侧大模型：手机离线运行。

实战检验：淘宝等大规模使用。