Google 把「操作电脑」塞进了主力模型,我一边想用一边在心里收紧缰绳

Google 把 computer use 内置进 Gemini 3.5 Flash

哈喽,我是飞飞。

这两天 Google 干了件让我盯着看了好一会儿的事。它把 computer use,也就是「让模型直接操作图形界面」这个能力,从原来 Gemini 2.5 里那个独立模型,整个搬进了主力的 3.5 Flash。

我先把这事说清楚,免得有人以为只是又发了个新模型。computer use 这个东西,不是我们熟的那种调接口、传参数的规矩操作。它是让 agent 看着屏幕截图,像人一样去点按钮、敲输入框、滚页面。Google 官方的说法是 see、reason、take action,看、想、动手。能看着浏览器点,能操作手机端,也能操作桌面应用。开发者拿 3.5 Flash 加上 Gemini API,就能搭一个跨这三种环境跑的智能体。

之前这能力是单独一个 Gemini 2.5 computer use 模型,你要用得专门去调它。现在它成了主力 Flash 的内置工具,调个 API 就有了。这两句听着差不多,落到我这种天天跟 agent 打交道的人身上,差别大了去了。

让 agent 动手这件事,门槛刚刚塌了一截

我天天用 Claude Code 加 Opus 改自己真实的仓库。这一年下来,agent 帮我写代码这件事我早习惯了。但有个隐性的边界一直在:它再能干,也是在我划定的那个仓库里动。它改的是文件,我看的是 diff,改坏了我能 revert,git 历史摆在那儿,谁动了哪一行清清楚楚。这层兜底网,是我敢把活交给它的底气。

computer use 把这个边界往外推了一大步。它不再只是在我的代码库里动,它要看着我的屏幕,去点我的浏览器,去操作我的桌面。从「在仓库里写字」到「在我整台电脑上动手」,这中间隔着的东西,比一次模型升级要重得多。

更让我停顿的是另一层。Flash 是 Google 那条便宜又快的线。computer use 进了它,意味着「让 agent 替你操作电脑」这件事,不光从「专门调个模型」降到了「主力模型自带」,价钱也跟着下来了。

这点正好戳到我的一个老习惯。我每个月给 Anthropic 的钱不算少,所以让 agent 干一件正经活之前,我都会下意识在心里过一遍秤,掂量这活值不值得动用 Opus。过去 agent 操作能力贵,我天然会省着用,那个「贵」本身就是一道闸。现在这道闸松了。又便宜、又是主力自带、又能直接动手,三件事凑齐,说实话,我的第一反应是兴奋,第二反应是后背有点发凉。

真有用,这话我必须先认下来

我不想把这篇写成一个老程序员对着新技术念叨「危险危险」。那不公允,computer use 的方向是真有用的。

我自己每天就有一堆重复的点点点的活。后台翻几个页面、登几个系统、把一个表里的东西挪到另一个表、跑一遍固定的回归点击。这些活没有任何脑力含量,纯粹是手在重复,交给一个能看着屏幕自己点的 agent,是再合适不过的。Google 自己给的落地场景也是这个路子,持续的软件测试、跨着一堆专业软件的知识工作,全是那种又长又碎、人做着烦的流程。

而且把它放进 Flash 这个又快又便宜的模型里,恰恰说明 Google 想的根本不是炫技。它要的是让这能力真能铺开,真能被人拿去干那些量大管饱的活。这个判断我认。重复劳动早该被这种能力接走,这是趋势里对的那一半。

我犹豫的,从来不是它有没有用,是它动手的代价跟写代码不一样。

它点错一下,我未必能 revert

说回那个让我警觉的点。我对 agent 莽着动手,本来就有底子。

去年我做过一次七千行的 SpringBoot 迁移,Java 翻成 Kotlin,一个任务来回改了几十次。那阵子我最怕的就是 agent 没想清楚就一把梭,批量改一堆地方,把空判逻辑顺手抹平,把 git 历史写得稀烂,等我发现哪里不对,往回找特别费劲。后来我学乖了,逐段读它迁的逻辑,它越能写我越得睁大眼盯着。

但你注意到没有,我之所以能在那个场景里盯住它,是因为有 git。它干的每一件事都落在 diff 里,看得见、回得去。代码这个域,兜底的工具是成熟的。

操作 GUI 这个域,这层网薄太多了。agent 在我浏览器里点错一个按钮、在某个后台填错一个字段、把一封没写完的邮件发出去、在某个不可逆的确认框上点了「确定」,这些动作没有 diff,也没有 revert。说白了,它作用在真实系统上,发生了就是发生了。同样是一步走错,写代码我能撤回来,操作电脑我可能撤不回来。这就是为什么我对这一步比对当年那次迁移更紧张。

我之前还实测过国产的 MiMo Code,它有个让我印象很深的本事:自己写测试,测试抓出它自己的 bug,它读着报错自诊断,再改再验,那条自我修正的闭环是真能收敛的。但你想想,它为什么靠谱,是因为它在一个有测试反馈的封闭环境里干活,对了错了立刻有回声。我操作真实桌面的时候,根本没有这种干净的 test 到 fix 的回路,点下去那一刻没人给它打分,错了也不会自己弹回来。

我会让它点到哪一步

所以这篇我真正想留下的,与其说是「Google 又发了个厉害东西」,不如说是我给自己定的那条线:我愿意让 agent 点我的屏幕,但得分清楚哪些能撒手、哪些绝不撒手。

读得到、看得到、查得到的那类活,我乐意全交。让它在浏览器里替我把十几个页面的数据扒下来汇总、让它跑一遍固定的点击测试、让它在一堆后台之间帮我搬信息,这些就算点错了,最坏也就是结果不对,我重来一遍。这类我放权放得很彻底。

会改东西、会发出去、会触发不可逆动作的那类,不夸张地说,我要把缰绳收得很紧。删除、提交、付款、发送、任何带「确定」按钮且按下去就收不回的操作,我宁可它停下来问我一句,也不要它替我决定。

有意思的是,Google 自己也是这么想的。它给 computer use 配了针对提示注入的对抗训练,还上了两个可选的护栏:敏感或不可逆的操作要用户显式确认,识别到间接的提示注入就自动把任务停掉。厂商亲自把人工闸门做进了产品里,这反过来说明,我那点对放权边界的较真还真不是杞人忧天。这条路本来就该配这样的护栏。

我没真上手 Gemini 3.5 Flash 的 computer use,所以这篇压根没打算讲「我测了它多强」。我想说清的,是这个方向落到我这种人身上意味着什么。真要验,我会拿我那些重复又安全的点点点活先喂给它,看它在我真实的浏览器里站不站得住,再一点点往上放权,每放一步都先问自己:这一下要是点错了,我能不能收回来。能收回的交给它,收不回的攥在自己手里。

门槛降下来是好事,便宜也是好事。但能力越唾手可得,那道「我愿意让它走到哪」的线,越得自己亲手画清楚。

你呢,如果 agent 现在就能看着屏幕替你动手,哪些活你乐意立刻撒手,哪些操作你打死都要自己按那个确定键?评论区聊聊,我挺想知道大家的线画在哪。