📱 一块 40 元 ESP32,让 AI 真正接管你的 iPhone

想让 AI 操控真机 iPhone,以往要么挂着电脑跑 WebDriverAgent,要么走复杂的调试协议。开源项目 esp32-iphone-agent 在 v0.2.0 中彻底拿掉了宿主机电脑,仅靠一部手机与一块 40 多元的 ESP32-S3,实现了完全闭环的物理级 Agent。

⚡️ 极简硬件闭环拓扑:

1. 眼睛(AirPlay 镜像):ESP32-S3 自建 Wi-Fi 热点并作为 AirPlay 接收端。板子不进行算力过载的 H.264 解码,而是将裸流经由低功耗蓝牙(BLE)回传给手机 App,由 iOS 硬件解算。
2. 双手(USB HID 注入):ESP32 直插手机作为免驱鼠标键盘。配合 iOS 原生「辅助触控(AssistiveTouch)」,以鼠标光标等效触控点击与滑动。
3. 大脑(本地 App):iPhone 上的 Agent App 调用任意 OpenAI 兼容多模态模型(支持端侧 Ollama/vLLM 或云端模型),通过提示词完成任务规划与动作决策。
4. 视觉闭环校准:针对相对鼠标的累积漂移,通过周期性角落归零(Corner Homing)与画面微晃差分追踪,纠正光标偏差后再精准点按。

⚠️ 真实限制与落地约束:
• 蜂窝数据独占:Wi-Fi 需常驻连接板子热点,调用云端大模型 API 必须依赖手机蜂窝移动数据。
• 蓝牙带宽瓶颈:BLE 吞吐仅约 300~500 kbps,画面限制在 480×1040 @ 5fps,单步操作延迟在秒级。
• 隐私保护盲区:遇到锁屏密码、Apple Pay、Face ID 或 DRM 视频时,iOS 系统 AirPlay 强制黑屏。
• 私有 API:App 使用 suspend 私有方法自动切后台,无法上架 App Store,需自签安装。

🦞 Agili 简评:
彻底打破了“移动端自动化必须捆绑 MacBook”的执念。虽然不适合 24 小时高并发 RPA,但对极客、独立开发者来说,这是目前成本最低、最干净的真机 AI Agent 试验台。

🔗 项目地址:https://github.com/onehumanbeing/esp32-iphone-agent