应用介绍
想让 AI 帮你在手机上点点划划，要么越狱，要么挂一台 Mac 跑自动化，要么就得拿开发者账号折腾 XCTest。esp32-iphone-agent 换了个思路：一块几美元的 ESP32-S3 开发板插在 iPhone 上，板子既当眼睛也当手，不用越狱，也不用接电脑。
眼睛是 AirPlay：板子自己开 Wi-Fi 热点，在屏幕镜像列表里冒充一台接收设备，把 H.264 画面原样转给手机上的 App。手是 USB HID：板子对 iPhone 表现为标准鼠标和键盘，打开辅助触控后鼠标指针就是手指，点击是轻点，拖动是滑动。画面截图交给任意兼容 OpenAI 接口的视觉模型，模型决定下一步点哪里，App 再通过蓝牙让板子动手。
自己找回指针：鼠标是相对移动的，App 会先把指针归位到角落，精确点击前再晃一下指针，在画面里找到它并修正偏差，所以点得准
规划与执行分工：一个规划模型拆步骤，一个执行模型出动作：轻点、滑动、画线、输入文字、按键、回主屏、完成，两个模型可以分别指定
后台运行：任务开始后切到别的 App 照样跑，灵动岛上能看到它正在做什么，随时可以停
断线续跑：板子、热点或镜像链路中断时自动暂停，恢复后从同一步继续，不用重来
逐步回放：每次运行都存在手机上，可以一步步回看，点击和滑动的轨迹画在截图上，方便排查模型哪一步判断错了
模型自选：vLLM、SGLang、llama.cpp、Ollama 或云端接口都行，提示词是 prompts 目录里的纯文本，改完重新编译即可
快捷指令联动：保存好的任务可以交给 Siri、快捷指令、小组件和控制中心一键触发
眼睛是 AirPlay：板子自己开 Wi-Fi 热点，在屏幕镜像列表里冒充一台接收设备，把 H.264 画面原样转给手机上的 App。手是 USB HID：板子对 iPhone 表现为标准鼠标和键盘，打开辅助触控后鼠标指针就是手指，点击是轻点，拖动是滑动。画面截图交给任意兼容 OpenAI 接口的视觉模型，模型决定下一步点哪里，App 再通过蓝牙让板子动手。
软件功能
自己找回指针：鼠标是相对移动的，App 会先把指针归位到角落，精确点击前再晃一下指针，在画面里找到它并修正偏差，所以点得准
规划与执行分工：一个规划模型拆步骤，一个执行模型出动作：轻点、滑动、画线、输入文字、按键、回主屏、完成，两个模型可以分别指定
后台运行：任务开始后切到别的 App 照样跑，灵动岛上能看到它正在做什么，随时可以停
断线续跑：板子、热点或镜像链路中断时自动暂停，恢复后从同一步继续，不用重来
逐步回放：每次运行都存在手机上，可以一步步回看，点击和滑动的轨迹画在截图上，方便排查模型哪一步判断错了
模型自选：vLLM、SGLang、llama.cpp、Ollama 或云端接口都行，提示词是 prompts 目录里的纯文本，改完重新编译即可
快捷指令联动：保存好的任务可以交给 Siri、快捷指令、小组件和控制中心一键触发
