7 美元让 AI 摸到真 iPhone：ESP32 伪装键鼠 + AirPlay 做眼，越狱和开发者账号都不要了

想让 AI agent 操作你的 iPhone，过去只有三条路：越狱、交钱办苹果开发者账号（证书 7 天一过期）、或者老老实实等苹果开放 API。10 月 11 日，开发者 Henry Yuan 在 X 上贴了一条 demo，把这三条路全绕过去了：一块约 7 美元的 ESP32-S3 开发板，往 iPhone 充电口一插，AI 就能在这台"原装未越狱"的手机上点按、滑动、打字。没有 Mac，没有开发者模式，甚至演示里连云 API 都没用——视觉模型跑在他局域网里的两台 NVIDIA DGX Spark 上。

Digital Trends 在 10 月 15 日做了完整报道，Hackaday 在 10 月 14 日拆了技术细节，GitHub 仓库（onehumanbeing/esp32-iphone-agent，MIT 协议）一周内涨了数千 star。这不是概念视频，是开源、可复现的工程。对做 agent 的人来说，它的意义远超"玩手机"本身：它证明了"视觉 + 外设"这条外挂路线，可以绕过任何平台的软件封锁。

一、它是怎么工作的：眼睛和手是分开的

整个系统的设计哲学是"把 AI 当成一个有眼睛、有手，但进不了系统的人"。眼睛和手是两套完全独立的通道：

眼睛：AirPlay 镜像。iPhone 通过 AirPlay 把屏幕投到电脑上（用的是开源的 UxPlay 接收端），再经 GStreamer 管道把画面抽成 JPEG 流喂给视觉语言模型。模型看一眼当前屏幕，决定下一步：点这里、滑那里、输这段字。操作完再看一眼，确认界面真的变了——形成视觉反馈闭环。

手：一块伪装成键鼠的 ESP32-S3。板子插进 iPhone 充电口（USB-C 机型直插，Lightning 机型加一个相机转接头就行，供电都从手机取），在 iOS 眼里它就是一个普通的 USB 鼠标+键盘——"对手机来说，它只是个熟悉的配件"。配合打开 iOS 的 AssistiveTouch（辅助触控），鼠标点击被转成触点、拖拽被转成滑动。键盘则负责打字。

Yuan 演示的两个例子听起来都不"宏大"：设一个每天重复的闹钟、在白板 App 里画个笑脸。但 Digital Trends 点出了关键：agent 是透过手机界面本身在干活，不需要给每个 App 单独做集成。闹钟 App、白板 App、系统设置——对 agent 来说都是"屏幕上的像素"，没有 API 也能操作。

硬件清单朴素到离谱：测试用的是 Seeed Studio XIAO ESP32S3，约 7 美元。软件层面，模型配置支持任何 OpenAI-compatible 的 endpoint（vLLM、SGLang、llama.cpp、Ollama 都行，只要模型支持图像输入）。Yuan 自己的本地配置是 Qwen3.8-Flash-Next-NVFP4 跑在两台 DGX Spark 上，约 1.3 秒走一步、2 秒做一次规划（关掉了 thinking 模式）——注意这是他那套特定配置的数字，别当成普遍性能。

新版本还更进一步：agent 跑在一个 iPhone App 里，板子直接收镜像画面，运行时不需要电脑了（不过初始配置还是要一台装 Xcode 的 Mac，老版本也保留着）。仓库里还有个 web 界面（默认 8890 端口），任务从浏览器下发，带手动控制和急停按钮——看得出来作者知道这东西的危险性。

二、为什么这是条"外挂路线"

理解这个项目的价值，要先理解它绕开了什么。此前 iPhone 自动化走的都是"体制内"路线：Xcode + 开发者证书（每 7 天过期一次，续签续到心累）、或者直接越狱（安全性和稳定性双输）。这两条路的共同点是：都要经过苹果的许可体系。

Yuan 的方案是"体制外"的：它不请求任何系统权限，不调用任何私有 API，甚至不装描述文件。它利用的是两个完全合法、苹果自己提供的能力——AirPlay 投屏（苹果亲儿子功能）和 USB HID 外设（行业标准协议）。苹果没法"封"它，除非苹果决定不再支持 USB 键盘鼠标——那等于跟全世界的无障碍用户和外设厂商开战。

这个思路其实有先例：早年的树莓派 KVM over IP、给服务器接的"数字机械手"，都是"既然软件层不让进，我就从物理层动手"。但把这套思路和视觉语言模型结合，ESP32-iPhone-Agent 可能是第一个做到"通用"的：以前的外挂只能做固定脚本，现在的外挂背后是一个能看懂界面的模型，理论上任何 App 都能操作。

有意思的是，它和我们今天另一篇报道（网站把 AI agent 拒之门外）形成了镜像对照：网站可以在软件层关门，但物理层永远有后门。当平台用验证码、设备指纹、登录封锁把 agent 挡在门外时，总有人会从"你拦不住的地方"绕进来——这次是 7 美元的单片机。

三、技术深潜：Hackaday 拆出来的四步流水线

Hackaday 在 10 月 14 日的拆解把这套系统还原成了四步，每一步用的都是现成开源件，拼起来却是个新物种：

第一步，拿到屏幕。iPhone 开 AirPlay 镜像，电脑端用 UxPlay（开源的 AirPlay 接收器）接住。这个环节的精妙之处在于：AirPlay 是苹果官方协议，走的是局域网，不需要任何配对之外的权限——你的 Apple TV 能干的事，你的 Linux 笔记本也能干。

第二步，画面变数据。GStreamer 管道把视频流抽成 JPEG 帧，喂给 agent。注意这里没有用什么高深的视频理解，就是一帧一帧的截图——视觉语言模型本来就是为"看图说话"训练的，UI 界面恰好是它最擅长的图像类型之一：按钮、输入框、图标，都是高对比度、强结构的视觉元素。

第三步，模型做决策。截图进模型，出来的是"点 (x, y)"或"输入这段文本"这样的原子动作。Yuan 的 demo 里模型跑在本地（Qwen3.8-Flash-Next，2×DGX Spark 张量并行），"everything stays on my LAN"——这句话值得划线：屏幕内容不出内网，既是隐私选择，也是速度选择（少一次公网往返）。

第四步，板子动手。决策变成 USB HID 报文，ESP32-S3 发给 iPhone。iOS 的 AssistiveTouch 把"鼠标事件"翻译成"触摸事件"：单击=触点、拖拽=滑动。还有个校准环节：因为镜像画面的坐标和触摸坐标要对齐，得先让 agent 在屏幕上点几个标定点——仓库截图里"Calibrating pointer…7/8"就是这个过程。

四步走完，一个"感知-决策-执行"闭环就转起来了。developer 社区的反响很直接：HN 上线当天（10 月 15 日）就进了热榜，仓库一周涨数千 star。评论区最高赞的那类留言不是"酷"，而是"我终于可以自动化测试我们公司的 iOS App 了"——真实需求永远比 demo 更诚实。

四、边界：它做不到什么

先泼三盆冷水，都是作者和报道里明确承认的：

第一，iOS 有"视觉禁区"。密码输入、Apple Pay、DRM 保护的视频这些界面不会出现在镜像流里——苹果在系统层就把它们抠掉了。手机一锁屏，镜像就断，agent 立刻变瞎子（所以跑任务时得关掉自动锁屏）。键盘输入目前只支持 ASCII，中文、日文这些直接打不进去。横屏 App 暂不支持。换句话说，凡是苹果认为"高敏感"的界面，这条外挂路线都进不去——这是好事，说明系统的核心防线还在。

第二，速度和可靠性都还是 demo 级。几秒走一步，完整走完一个多步任务要等很久；报道明确说"例子证明了单个任务能跑通，但没有建立起跨 App 的可靠性"。视觉模型的误判（把相似按钮点错、没等加载完就下一步）是这类系统的通病，急停按钮的存在本身就说明了作者的预期。

第三，AssistiveTouch 的校准是体力活。指针对准需要校准步骤，改一下追踪速度就得重校。这意味着它现在更适合"固定机位、固定任务"的场景，而不是随手掏出来就用。

五、给 vibe coder 的三个判断

第一，"computer use"正在分叉成两条路线，vibe coder 应该两条都懂。一条是"体制内"的：OpenAI 的 operator、GitHub Copilot 的 computer use（10 月 1 日进公测），走官方 API 和无障碍接口，体验好但处处受平台节制；一条是"体制外"的：ESP32 这种物理外挂，不需要任何人批准，但糙、慢、要自己搭。短期看，做 toC 产品走第一条；做研究、做自动化测试、做"苹果永远不会开放"的那类场景，第二条是唯一的活路。Yuan 的项目把第二条路的成本打到了 7 美元+一个开源仓库，这个数字本身就是新闻。

第二，agent 的"手"正在脱离"软件集成"的假设。过去我们默认 agent 操作手机=调 API；这个项目证明，agent 操作手机也可以=看屏幕+模拟手指。这个范式一旦成立，所有"没有 API 的老旧系统"（还记得 Copilot computer use 瞄准的"无 API legacy 软件"吗）都变成了 agent 的潜在操作对象。对做企业自动化的 vibe coder，这是个值得记在小本本上的思路：客户那套 20 年前的 GUI 系统，不一定非要逆向它的协议，7 美元的外挂可能更便宜。

第三，关注"视觉禁区"的边界变化。苹果把密码、支付界面排除在镜像之外，是目前这条路线的安全护栏。但护栏的位置是苹果单方面决定的——它可以扩大（比如把银行 App 也抠掉），也可以收窄。做这类项目的人，要把"某天早上发现镜像里多了一块黑"当成架构风险写进设计里，而不是当成意外。

六、选型指南：三条路线，你适合哪一条

把本文出现过的方案并排放，三条路线泾渭分明，选型其实就看三个问题：你要不要过苹果的许可？你要不要自己搭硬件？任务是固定场景还是随手就用？

路线一：体制内——官方 API 与无障碍接口。代表是 OpenAI 的 Operator、GitHub Copilot 的 computer use（10 月 1 日进公测）。优点是体验好、开箱即用、合规无忧；代价是处处受平台节制——苹果不开放的能力你永远拿不到，政策一收紧你的产品就跟着抖。适合做 toC 产品和"苹果允许范围内"的自动化。

路线二：开发者模式——Xcode + 证书。优点是真机直连、能力完整；代价是证书每 7 天过期一次，续签续到心累，而且依然活在苹果的许可体系里。适合短期真机调试和内部测试，不适合长期无人值守。

路线三：物理外挂——ESP32 这类"体制外"方案。优点是不需要任何人批准、成本 7 美元、绕开一切软件封锁；代价是糙和慢（几秒走一步）、要自己搭硬件做校准、还得接受 iOS 的"视觉禁区"。适合三类场景：自动化测试（HN 最高赞评论诚不我欺）、安全研究、以及"苹果永远不会开放"的那类需求。

一句话选型建议：先看合规边界，再看任务形态。能走官方的别碰外挂——维护成本和政策风险都更低；官方走不通、任务又固定（固定机位、固定流程），7 美元的外挂可能是全场最便宜的解法；介于两者之间的，先拿开发者模式验证需求，跑通了再决定要不要上硬件。

仓库地址：github.com/onehumanbeing/esp32-iphone-agent（MIT 协议）。如果你手头有块 ESP32-S3 和一台备用 iPhone，这个周末就能复现——记得先关自动锁屏，备好急停按钮。