国产模型说对 Opus 胜率 59.1%,天天用 Opus 改代码的我,换不换底座

哈喽,我是飞飞。
6 月 23 日字节的 Seed 团队发了 Seed2.1 系列。我刷到它的第一眼,是那句被到处转的「Seed2.1 Pro 对 Claude Opus 拿到 59.1% 胜率」。
这句话对很多人是一条行业资讯,对我有点不一样。我每天干活的底座就是 Claude Code 加 Opus,整条写文章的流水线、改自己仓库的活,全压在它上面。改一段 Java、查一次重、配一张封面,背后都是这同一套东西在跑。所以国产模型说对 Opus 胜率过半,我读到的不是又来一个跑分这么简单,它直接戳到一个挺贴脸的问题:我要不要把方向盘从 Opus 手里交出去一部分。
毕竟我是真金白银每个月在为这个底座付钱的人,谁说有个便宜不少又差不多的替代,我都得认真听一耳朵。但听完之后,越是天天用的人,越得先把这数字拆开看,别被一个胜率百分比晃花了眼。
先把这个数字的口径摆清楚,再说我换不换。
59.1% 这个数字,是谁测出来的
我去字节 Seed 的官方 blog 把原文翻了一遍。原话是这样的:「在众测开发者评估中,我们邀请开发者基于真实代码仓库提交工程任务……其中,Seed2.1 Pro 相比 Claude Opus 4.6 获得 59.1% 胜率。」
两个关键点藏在这句话里,转发的时候很容易被吃掉。
一个是「我们邀请」。这场众测是字节自己组织的,出题、判分都在主场,并没有交给独立第三方拿同一套题盲测两家。厂商自己办的比武,主场优势是天然的,选什么任务、怎么判胜负,话语权都在出题方手里。我不是说它造假,真实代码仓库的工程任务这个设计本身是认真的,但这种自报数据,得当成「厂商立场下的一个参考」,而不是铁板钉钉的客观结论。前阵子我刚写过 Cursor 那边被审计出跑分注水的事,对这类自报胜率,我现在条件反射地先存个疑。
另一个更要命的细节:它对标的是 Claude Opus 4.6。而我手上天天在跑的,是 Opus 4.8(1M context),已经领先了一档。所以「59.1% 胜率」翻译过来是「赢了一个不是最新版的 Opus 半数多一点」,离「追平我正在用的那个」还隔着一代。这个版本错位如果不点破,很容易让人误以为国产模型已经把最新款掀了,事实没到那一步。
那有没有独立一点的旁证?有。独立榜 Code Arena 的前端榜上,Seed2.1 Pro 预览版排到了全球第 8,1539 分,跟 Opus 4.6 基本持平。注意,还是「持平 4.6」。这条第三方信号反倒帮字节那个自报数字校了准:它的真实水位大概就在 4.6 这一档,不是 4.8。
我手上这堆活,哪些能交给它
把数字看清楚之后,真正的问题对我才浮出来。我纠结的从来就跟「Seed2.1 到底强不强」这种榜单排名没多大关系。它落到我自己身上是另一句话:我每天这堆活里,哪几类值得让它上。
我先得说清楚一件容易被忽略的事。我用的 Claude Code 其实不只是一个模型。它是一套 agent 框架,下面接着底层的 Opus,再上面是我自己挂的十几个 skill 和一摞 memory,三层叠在一起才是我每天干活的那个东西。国产模型能替的,说到底只是中间那一层模型。所以「换不换」这个问题,真正的问法应该是「哪几类活值得把中间那层换掉」,而不是笼统地问要不要换掉整个 Claude Code。这两个问题的答案差得很远。
我自己心里是按活的性质分的。
那些确定性高、对错一眼能验、又特别吃成本的活,我愿意让 Seed2.1 上。比如批量改一堆样板代码、跑一遍前端 UI 的小调整、读图表做文档理解这种。Seed2.1 在前端榜的成绩摆在那,文档图表理解那几个基准官方也说拿了最高分,关键是它便宜得离谱,这类杂活让它干,省下来的额度很实在。
但有一类活我不会交。需要顶级判断力、链路特别长、一旦中途跑偏就很难救回来的核心活,我还是留给 Opus。我让 Claude Code 干过一次七千行的 SpringBoot 从 Java 迁到 Kotlin,那种活一个任务来回改几十次,中间它得记住前面改过什么、为什么这么改,错一步后面全崩。这种长链路里,模型的稳定和错误恢复能力,比省那点钱重要太多。
说白了就是分活,不是替代。这也是我对所有「平替来了」类消息的一贯态度:先把活拆开,再一类一类看谁更合适。
换底座真正的成本,账上从来不写
很多人算「换不换」只算一笔账:API 便宜了多少。豆包 2.1 Pro 每百万 token 输入 6 元、输出 30 元,火山引擎说综合成本比 Opus 4.6 便宜接近 80%。这个 80% 是真的,也确实诱人,每个月给 Anthropic 的钱不算少,我每次动用 Opus 之前都会在心里过一杆秤,值不值得用它干这件事。
但换底座要付的另一笔账,省钱那本账上从来不记。
我光写文章这一条流水线,就挂着十几个 skill:拉资讯的、查重的、配图的、发公众号的。每一个都是照着 Claude Code 读 skill、认 frontmatter、调 hook 的脾气一点点磨出来的。真把底座换成别家,这些 skill 调工具时吐出来的格式十有八九会飘,得挨个重新校。光是把那套专门防 AI 味的 grep 规则重新调教顺,就够搭进去好几个晚上。这部分迁移时间,比省下的模型钱贵多了。
所以你看,对我这种把家底全长在一个工作流上的人,换底座的门槛压根不在模型本身强不强这件事上,真正卡住我的是我那套生态绑得有多死。一份越喂越厚的 CLAUDE.md、一摞调了很久的 memory、十几个互相咬合的 skill,这套地基挪一次窝,伤筋动骨。
也正因为这样,真正打动我的不是被到处转的那个 59.1% 胜率,那个数字我看完就放下了。让我多想了两眼的,是它把价格压到了接近五分之一。便宜这么多,意味着我可以不必拿它去硬刚 Opus 的核心活,只要把那些又多又杂、又不太需要顶级判断的活分一部分给它,就能实打实省下额度,把贵的 Opus 留给真正的硬骨头。回头想想,过去这一年真正让我动过迁移念头的几次,都不是因为对方跑分多好看,全是因为它便宜到让我有点扛不住,便宜到我宁愿花一晚上重排分工也想把它用起来。这次也是同一种感觉。
我现在的答案
把这几头想完,我自己的结论其实挺清楚的。
国产模型这一两年追得是真快,Seed2.1 这次的成绩,去掉自报口径和版本错位的水分,落到「跟 Opus 4.6 持平、价格便宜八成」这个真实位置上,已经很能打了。但它还没到能替掉我正在用的 Opus 4.8 去接核心活的地步。
我大概率会这么干:留着 Opus 4.8 当主力,把那些确定性高、吃成本的杂活拿出来,试着让 Seed2.1 跑一段时间,用真实任务的完成度去判它到底值不值得多分一些活过去。换主力是另一回事,得等它能稳稳接住我那种七千行迁移级别的长链路,那时候我们再聊。
最后想问问你:如果你也天天在用某个 AI 工具干活,遇到一个便宜八成、号称差不多的平替,你会先拿哪类活去试它的水?