当大模型学会“动手”：2026年AI自主操作时代的黎明

去年这会儿，我让一个号称能“自己操作电脑”的模型帮我在后台改一批商品价格。它打开浏览器，找到搜索框，然后在里面认认真真地敲了一行字：“请输入商品ID”。任务失败，还差点误点到旁边的批量下架按钮。

上个月我又试了一次。同一个任务，它自己处理了登录态过期的弹窗，认出列表页那个藏得挺深的排序菜单，改完三条之后停下来问我：“第四条价格变动幅度超过20%，要不要确认？”

从“照着提示词念”到“知道先看一眼再动手”，这中间隔了大概一年半。

一条挺密集的时间线

如果把“大模型学会动手”当成一件事来看，它的节奏其实比大部分人感知到的要快：

时间	事件	大概意味着什么
2024.10	Anthropic 在 Claude 3.5 Sonnet 上开放 computer use	通用模型第一次把“看屏幕、点鼠标”做进 API
2024.11	Anthropic 开源 MCP 协议	模型调工具有了相对统一的“插座”标准
2024.12	Google 放出 Project Mariner 实验项目	浏览器内的多步任务被摆上台面
2025.01	OpenAI 上线 Operator	操作型智能体从实验室走进产品订阅
2025.03	Manus 出圈；智谱发布 AutoGLM 沉思版	国内用户第一次成规模地“用”到这类东西
2025.07	OpenAI 推出 ChatGPT Agent	通用入口化，从“演示”转向“日常”
2025 下半年	多家厂商更新操作类模型，AI 浏览器密集发布	准确率爬进一个勉强能用的区间

你会发现一个规律：2024 年大家还在争论“这玩意到底能不能用”，2025 年的争论已经变成“它把我东西改坏了算谁的”。

问题变了，说明阶段也变了。

它到底是怎么“看见”又“动手”的

外面听起来很玄，其实主流做法就三条路，各有各的毛病：

一、纯视觉路线。 模型看截图，直接输出“点 (x=430, y=812)”。好处是通用，手机、桌面、任何软件都吃得下；坏处是慢，而且一像素的误差就可能点到隔壁按钮。分辨率怎么切、界面变了怎么办，都是工程活。

二、读结构路线。 直接解析网页 DOM 或者 App 的无障碍树，找到“这个按钮的 ID 是什么”，然后精确点击。快、准、便宜，但碰到 Canvas 渲染的界面、自定义控件、或者故意藏起来的元素，基本抓瞎。

三、直接调接口。 能用 API 就别模拟人点，这是现在最主流也最务实的共识。MCP 这一类协议之所以在 2025 年被 OpenAI、Google 陆续接纳，本质原因是大家都意识到：让模型去学“点鼠标”是在绕远路，能对接的能力就对接。

实际产品里，这三条路几乎是混着用的。你看到它很顺滑地订完一张机票，背后可能是先调接口查航班，接口不通了才退回去用视觉点日历控件。

跑分涨得挺快，但离“托付”还差一截

行业里衡量这类能力的基准，最常被引用的是 OSWorld（桌面操作）和 WebArena / WebVoyager（网页任务）。

公开数据显示：2024 年上半年，最好的模型在 OSWorld 上大概十几个百分点的成功率，而人类基准线在七成以上；到 2025 年下半年，头部模型已经爬到五六成，个别场景能更高。这个进步速度不慢，但请注意那个“五成”的含义——两次任务里就有一次可能出错。

出错的方式还挺有规律：

• 验证码和二次验证。这是几乎所有产品的共同难题，多数厂商选择“停下来交给用户”。
• 长链路衰减。三步以内的任务成功率不错，到十几步就开始飘。每多一步，错误就多一次累积的机会。
• 不可逆操作。删文件、提交订单、发邮件，这类动作一旦做错，前面省下的时间全赔进去。
• 跨应用切换。同一个 App 里它挺稳，让它从微信里拿个地址、再去地图里搜，掉帧明显。

所以现在各家产品都在做同一件事：在该停的地方停住。付款前弹确认、删除前要二次点击、涉及账号密码的一律不放行。这些看起来是“能力不足的妥协”，实际上是产品能不能被信任的关键。

真正的门槛，可能不在模型上

我跟几个做这类产品的团队聊过，一个比较一致的感受是：模型能力反而不是最卡脖子的环节。

卡脖子的是这些：

权限怎么给。 全盘授权最省事，但没人敢用。现在通行的做法是给一个隔离环境，或者只开放特定应用的有限权限，做完就回收。

出错怎么回滚。 一个能撤销的操作和一个不能撤销的操作，风险等级完全不一样。有些产品会给每一步都留快照，用户点一下就能回到十分钟前。

怎么计费。 按 token 计费对聊天成立，对一个跑二十分钟、点了两百下的任务就不太成立。所以 2025 年出现了按任务、按步数、按“积分”的多种试法，还没收敛。

谁来担责。 这个最麻烦。模型自己下错单，损失算用户的还是厂商的？目前几乎所有条款都写着“用户确认后执行”，但这句免责在实际使用中挺单薄。

国内这几家，路子不太一样

不吹不黑地说，国内做这块的几家方向差异挺明显：

• 智谱的 AutoGLM 系列重点在手机端跨 App 操作，走的是“替你在手机上点”的路线，对普通用户来说门槛最低。
• 字节的 UI-TARS 选择了开源，主要面向开发者和研究者，把“看屏幕操作 GUI”这件事当成基础能力去铺。
• 阿里的通义、夸克更偏向把操作能力嵌进自家已有的入口里，比如搜索、浏览器、办公场景，不太单独强调“智能体”这个概念。
• Manus 走的是通用任务 + 海外市场，产品形态更接近“交给它一件完整的事”。

顺带提一句，开源的 Browser Use、OpenHands 这类项目在开发者圈子里热度不低，很多人是先拿它们跑通流程，再决定要不要上商业方案。

2026 年，可以期待什么，不该期待什么

我觉得比较靠谱的判断是这几条：

会发生的： - 操作成功率继续往上走，但不会到“闭眼托付”的程度，人工确认节点会长期存在。 - 桌面、浏览器、手机三端的边界会越来越模糊，同一个任务在不同设备上接力执行。 - 企业侧会先跑起来，因为流程固定、可回滚、有人兜底。

大概不会发生的： - “一句话让 AI 帮你上完一天班”。长链路任务的稳定性还撑不住这个叙事。 - 通用智能体彻底替代垂直工具。订票、报销这类场景，专用流程 + 通用模型的组合比纯通用更靠谱。

给普通人的一点建议

如果你现在想试试，我的建议是从“可回滚的低风险任务”开始：整理表格、抓取公开页面信息、把一堆截图里的文字抠出来归类。这些做错了也就是重来一遍。

涉及钱的、涉及对外发送的、涉及删除的，先看着它做几遍，摸清它在哪一步容易犯迷糊，再决定要不要放手。

大模型学会“动手”这件事，2026 年大概不会是“完成时”，但会是“进行时”里变化最明显的一年。真正值得关注的，不是它能不能点对那个按钮，而是它知不知道自己什么时候该停下来问一句。