拿九成性能只花四成钱:Claude 那两种省钱模式我早就在手动跑

cover

哈喽,我是飞飞。

昨天刷到 Claude 开发者官方分享的两种多智能体模式,一个叫顾问,一个叫编排。我盯着那两套对比数字看了半天,心里冒出来一句话:这不就是我烧了大半年 token 烧出来的两个土办法吗。

我最近连着写过几篇跟模型有关的:搭 agent 别一上来就选模型、大厂被账单逼着禁最贵模型、agent 循环分四档。这篇不接着讲那些。那几篇聊的是「一个任务该挑哪个模型」「一条循环怎么设计」,这篇讲的是另一层,是让两个能力不同的模型编队干活。

这次讲编队不讲选型

先把主线撂这儿:省钱的关键,不在你挑一个最便宜的模型,在你让贵的和便宜的各司其职。

大部分人纠结的是二选一。这活配 Opus 还是配 Sonnet?贵的准但烧钱,便宜的省但掉链子。你在两根线之间来回挪,挪到哪儿都觉得亏。

官方这两种模式跳出了二选一。它不让你在贵和便宜里选一个,让你俩都用上,各干各擅长的那段。强模型出判断,弱模型出力气。听着像多此一举,可账一算,是真省。

顾问模式我早就在手动跑

顾问模式的做法是这样:让便宜的模型当主力干活,它自己拿不准的时候,通过一次工具调用去问强模型一句,强模型读完整个上下文,甩回来一段几百字的指点,便宜模型接着干。

官方给的数字是,Sonnet 5 单独跑 SWE-bench Pro 是 75.5% 的分、七毛五的成本,加上顾问涨到 84% 分、一块四成本;而 Fable 5 自己硬扛是 91.5% 分、两块二五成本。组合方案约等于拿到 Fable 九成二的性能,只花它六成三的钱。贵模型只在少数难点上被叫一下,它那点单价就被摊薄了。

看到官方一本正经把这套画成图,我先笑了一下。因为我天天在手动跑一个更土的版本,只是没给它起过名。

我每个月给 Anthropic 的钱不算少,让 agent 干一件正经活之前,我都会下意识在心里过一遍秤:这活值不值得动用 Opus。杂活我就手动切便宜模型省额度,遇到真啃不动的判断,才把 Opus 调出来问一嘴。这种「用之前先掂量」的绷着感,就是顾问模式的人肉版。官方无非是把我这个手动掂量,做成了让弱模型自己按需去 call 强模型。

具体到什么程度?写个 commit message、改个错别字、调一行配置,这种杂活我碰都不碰 Opus,Sonnet 甚至更便宜的档随手就上。只有碰到要理清一大坨纠缠的逻辑、或者一步走错就满盘皆输的活,我才舍得把最贵那档调出来。这套掂量做了大半年,早成肌肉记忆。官方顾问模式聪明的地方在于,它把「什么时候该问贵的」这个判断也交给便宜模型自己做,不用我在旁边人肉盯着切来切去。

编排模式就是我那条流水线

编排模式反过来,让强模型当指挥。Fable 5 先出规划、把活拆开,扇给一群 Sonnet 5 子代理并行去干,累活重活全压到便宜模型那层。

这套省得更狠。官方在 BrowseComp 这种要海量翻阅的活上测:全用 Sonnet 5 是 77.8% 分、十六块的成本;编排方案 86.8% 分、十八块五;全用 Fable 5 是 90.8% 分、四十块五毛六。算下来编排拿到了九成六的性能,只花四成六的钱。还有个小例子更直观,查 20 条事实,Fable 编排加 Sonnet 子代理约花一块六,单个 Fable 硬扛要四块,省两倍半还快三倍。

这条我印证得更实。我写文章这条流水线,挂着十几个 skill:拉资讯、调研、写稿、润色、查重、配图、分发。中间那个 content-director 就是编排者,跑一篇文章它先规划、再把每个环节扇给对应的 skill 去执行。

这不就是编排模式吗。区别只在于,官方的 worker 是一堆并行的 Sonnet 实例,我的 worker 是一个个 skill。指挥出规划、下面分头干活,这个骨架一模一样。

拆开看更清楚。content-director 先叫 researcher 把资料搜回来、把洞察理出来,再交给 writer 落成初稿,接着 polisher 上去查 AI 味、training 把这次的坑沉淀成规则、artist 配封面、distributor 拆成公众号和知乎版。你现在读的这篇,就是这么一环环跑出来的。指挥自己不下场干活,只管把活拆对、派对人。

我这套也是一篇篇文章跑下来、烧着 token 磨出来的直觉,没谁一开始就设计好。官方这篇等于给我摸出来的土办法起了名字、配了数字。读的时候那种感觉挺微妙:原来我一直在做的这件事,是有人把它当正经工程模式在认真研究的。

省钱到底省在哪一步

两种模式都省钱,但省的地方不一样,搞清楚这点你才知道该用哪个。

顾问模式省在「只有少数难点才动用贵的」。你的活大部分是便宜模型能扛的执行,只有零星几步需要强判断。那就让便宜模型主跑,卡住了才花钱问一句。适合那种「大体不难、偶有硬骨头」的任务。

编排模式省在「执行量大时用便宜的顶」。你的活要拆成一大堆并行的子任务,量堆得很高,但每个子任务本身不算太烧脑。那就让强模型只做规划这一小步,把庞大的执行摊给便宜模型那层。适合调研、批量处理、大范围翻阅这种活。

一句话记:难点稀疏就用顾问,执行量大就用编排。两种都比你纯用最强模型省钱,也都比你纯用最弱模型靠谱。中间这条编队的路,才是性价比最甜那段。

我自己两条都在用。写文章那条流水线是编排型,天然要拆一大堆环节;可真遇到某一步 agent 卡死、要我拿主意的时候,我又人肉切上强模型问一句,那一下就变回顾问型了。同一摊活,两种模式其实能叠着用,不冲突。

我没跑过官方那套装置

这里得说句实在话。我没有真去跑官方那个 Sonnet 5 执行加工具调用 Fable 5 当顾问的确切装置,也没在 SWE-bench Pro、BrowseComp 上复测过它给的分。

我写的是我读懂了这两种模式,加上我自己那套编排和手动路由的一手印证。我能拍胸脯的是「让强弱模型分工确实省钱」这个方向,因为我天天在体感里验证它。官方那几个具体百分比是它自己测的,我照搬转述,没冒充是我复现的。这条边界我得划清楚,省得你以为我把那套基准跑了一遍。

今天就能动手拆的一步

绕回开头那句:官方给我的土办法起了名字。你不用等有人给你起名,今天就能上手。

挑你手上最费钱的那条 agent 任务,把它掰成两段看:哪些步是「难判断」的,哪些步是「量大但不难」的。难判断的留给强模型,量大的交给便宜模型。要是难点零星,走顾问那条,主力便宜、卡住才问贵的。要是执行成堆,走编排那条,贵的只管拆活、便宜的成群去跑。

就这么一拆,你那本账大概率能松一大截。你现在是纯用一个最强模型硬扛,还是已经在手动给它们分工了?评论区聊聊你最费钱的那条任务卡在哪。


参考资料

  • [[advisor-orchestrator-multi-agent]]

相关洞察

  • [[advisor-orchestrator-cost-teaming]]