Copilot 长出手了：GitHub 让 AI 直接操作桌面应用，从点按钮到填表格都不再需要 API

发生了什么：Copilot 从「写代码」变成了「用电脑」

10 月 1 日，GitHub 在官方 Changelog 上宣布：Computer Use 进入公开预览，覆盖 Copilot CLI 和 macOS / Windows 上的 Copilot App。它能读应用的可访问性内容和视觉上下文，点控件、输入和编辑文本、按键、滚动、拖拽，还能在多个应用之间穿梭完成一个流程。

官方举的例子很实在：给浏览器里的通知做摘要、更新演示文稿里的内容、在桌面应用里搬运信息走完一个工作流。这些事的共同点是——它们被困在图形界面里。

为什么是现在：自动化一直有个够不着的盲区

过去十年，自动化的边界画得很清楚：有 API 的走 API，有命令行的走脚本，有 MCP 的走 MCP。但大量专业软件三样全没有——老旧的业务系统、某些桌面端工具、政府和银行的内部应用。RPA（机器人流程自动化）试图填这个坑，但 RPA 是录制回放式的，界面一变就崩。

Computer Use 走的是另一条路：让 AI 像人一样看屏幕、理解界面、临场决策。按钮挪了位置，它能重新找；弹窗挡住了路，它能先关弹窗。这是从「写死流程」到「理解意图」的质变。对 vibe coder 来说，这意味着你做的内部工具、小众场景自动化，第一次有了不写适配器就能触达的执行层。

安全设计：默认关闭，次次都要你点头

GitHub 这次在权限上相当克制：功能默认就是关的，要在 CLI 里跑 /computer on，或在 App 设置里手动打开。Copilot 接管某个应用之前会请求批准，你可以审核或重置「始终允许」的应用列表。macOS 上还会引导你完成辅助功能和屏幕录制权限。组织管理员可以直接通过托管设置关掉整个功能。

这个设计值得玩味。今年 4 月，一个 Cursor agent 就因为权限过大删掉了某公司的生产数据库和备份。AI 能点鼠标之后，「最小权限」不再是口号——你给它的每一份屏幕权限，都是在扩大它的破坏半径。GitHub 把默认关闭和逐次确认做在前面，是吃过亏后的谨慎。

我们怎么看：这是 agent 的「最后一公里」，也是风险最大的地方

短期看，Computer Use 最先改变的是两类人：一是被困在老旧软件里的人（财务、行政、运维），二是做内部自动化的独立开发者。对后者，这是一个新品类机会：以前你接不上的系统，现在 Copilot 能替你点了——你的价值从「写集成代码」变成「设计流程和兜底」。

但别急着把生产流程交出去。公开预览意味着行为还不稳定：AI 看错按钮、点错窗口、误解确认框，都是大概率事件。我们的建议是：先用在可逆操作上（查信息、填草稿、做摘要），涉及删除、转账、对外发送的操作，至少再等两个版本。手长出来了是好事，但先学会别乱摸。