esp32-ai

大模型一般需要显卡，单片机上跑语言模型听起来像天方夜谭。这个项目在 ESP32-S3 微控制器上运行一个 2890 万参数的语言模型，全部在芯片上完成，不连服务器。

生成速度达到每秒 9.88 个 token，并直接显示在屏幕上，展示了端侧 AI 的极限。

软件功能

芯片端推理：不依赖服务器。

2890 万参数：在 MCU 上运行。

实时显示：文字直接输出到屏幕。