CoreML-LLM

CoreML-LLM

用CoreML在苹果设备上跑大模型

AI官网

应用介绍

想在 iPhone 上本地跑大模型,却不知道怎么转换模型、怎么用上神经网络引擎。CoreML-LLM 提供用 CoreML 在苹果设备上运行大模型的方案,针对神经网络引擎和 GPU 优化。

它包含模型转换工具和 Swift 示例,让大模型真正在设备端流畅运行。

软件功能



CoreML 转换:模型适配。

神经网络引擎:ANE 加速。

设备端:离线运行。

Swift 示例:快速集成。

应用截图