Mirage

Mirage

22MB端侧多功能视觉模型

AI官网

应用介绍

手机上想跑视觉 AI,最大的坎是体积和延迟:识别物体一个模型,读文字一个模型,抠轮廓再一个模型,装不下也等不起。Mirage 把这些活塞进了一个只有约 22 MB 的模型里,5130 万参数,经过专门的 2 比特量化,在三星 S26 的 NPU 上单次全流程分析只要 74 毫秒。

给它一张照片,它一次性把场景环境说清楚,圈出各类物体并生成精细轮廓,读出招牌和标签上的文字,理清物体之间的空间关系,还能照你预设的选项直接给出判断,比如路牌拍到了,让它在「停车、让行、限速」里选一个。最后输出整齐的结构化数据,应用拿来就能用。

软件功能



场景描述:用英语、德语、法语、西班牙语、意大利语、荷兰语和波兰语描述画面里的环境、光线和背景。

目标检测与分割:给出物体名称、边框和置信度,并为每个物体生成分割轮廓。

文字识别:读取图片里的文字,同时标出它在画面中的位置。

空间关系:理清物体之间的位置关系,比如「标牌固定在杆子上」。

按选项决策:从你给定的标签里挑出答案,还可以接到文本模型上做更复杂的推理。

本地运行:手机、可穿戴设备、机器人等设备都能跑,S26 的 CPU 上也只要 107 毫秒;网页里的演示直接在浏览器本地运行。

使用方式:`pip install -U cactus-compute` 之后,一行 Python 就能调用,首次使用会自动下载引擎和权重。采用 Apache-2.0 许可。