刷 AI 榜单的人，同一道题差 100 分

Hello，我是飞飞。

你最近刷到 ARC-AGI-3 的消息，看到的数字大概率是 97.5%。Google 的新模型 Gemini 4 Argon 拿的，挂在官方榜上，仅次于 GPT-6 Astra 的 99.9%。

但同一张榜、同一个模型、同一页纸上，还挂着另一个数：49.8%。也是官方发的。

两个数差 47.7 个百分点。中间隔的是考官，跟模型版本、推理强度都没关系。

七月那篇讲后训练的文章里，我写过一句话：同一个模型换个壳，分数能差出一大截。当时我举的例子，那个「一大截」是 0.7 分。两个半月后，它长成了 47.7 分，而且这次两个数都盖着官方的章。

一道题，0 分和 100 分

先别看总分。官方把 25 个公开环境的逐关通过率全放出来了，看一局就够。

有个环境叫 TU93。标准那套跑，5.3%；降到低思考档，0.0%。同一个 TU93，换一套跑，100%、100%、100%，三档全满。另一个环境 G50T 更干脆，0.0% 对 100%。

同一道题，一边解都解不开，一边满分。

差别不在分数高低，在于这道题解不解得开。

而且这件事出题方三月那份技术报告里就记下来了：同一个模型，在环境 TR87 上，没有脚手架时 0.0%，配上 Duke 那套脚手架时 97.1%。

ARC-AGI-3 从设计之初就知道会这样。

这 47 分是谁挣的

那两套考官，官方叫它 harness，说人话就是套在模型外面那一层脚手架。政策页给了定义，两段话只在同一处不一样。

标准那套，允许模型带走「它自己选择保留的笔记」。

另一套叫 Provider Adapter，可以理解成厂商自己的适配层，在两次请求之间保留「不透明的推理状态」，并对长对话做压缩。

钥匙在「不透明」这三个字上。

标准脚手架里，模型得把思考写成字，摊在桌上。它想留住什么，要自己动手写下来。Provider Adapter 里它不用写，那部分推理留在它那儿，不给人看。

同一道题，一个逼你把草稿摊开，一个允许你在脑子里算。

两家在官方开源仓库里的实现名也不一样。标准那套叫 manual_rolling，Provider Adapter 叫 continuous_conversation。仓库里连各家怎么接都写出来了，比如 Anthropic 那套，是上下文攒到 17.5 万这个阈值时触发原生压缩。这些都是真在跑的配置。

这也解释了，为什么这个落差不是「再努力一点」能补上的。

顺带说一个反直觉的：分高的那次，成本反而更低。Argon 是 4.8 千美元对 5.8 千美元，Astra 那边是 1.88 万对 2.61 万。这不是靠多烧算力堆出来的分。

最狠的一组数还是 Astra 的。思考强度调到「none」，完全不思考，在 Provider Adapter 里还有 96.7%。比它在标准脚手架下的最高档，高出 34 个点。

思考强度这个旋钮，在脚手架面前不太好使。

官方的方法学页面写得很清楚：工具调用、推理步骤、重试，一律不算「动作」。而这个分数，恰恰是按动作算效率的。

保留推理状态、做压缩，在这套账里不多记一个动作。可它把「能不能解开这道题」整个换掉了。

官方这么做没毛病

看到这儿，你八成已经想说「那这榜废了」。先别急，我得替它说句公道话。

一个通用、不偏向任何一家厂商的脚手架，是个能站住的设计目标。要是每家都拿自己最顺手的那套来跑，比的就是工程团队的调优水平。跟模型本身关系不大。

ARC Prize 在政策页写的那句我认：两套脚手架回答的是两个不同的问题，两个都合法。

「没跑完也算分」听着像网开一面，其实是它本来的算法。ARC-AGI-3 的分数是个比率：人类花 10 个动作，模型花 20 个，这关就是 25 分。所以一局没跑完，已经挣到的分天然该留着。

官方还主动做对了几件事：政策页把两套脚手架的定义写清，逐环境数据全放出来，配了回放，还自己说了「榜快满了不代表拿到了 AGI」。

可那个限定只留在网页里

那问题出在哪？

出在分发。

Argon 这一轮，标准脚手架只跑完了 55 局里的 42 局。中档 46 局，高档只有 19 局，原因是接口故障。

官方结果页正文写得很清楚：55 局全部计入，跑不完的保留已得的部分分。高档那个点因为覆盖太差，干脆从图里拿掉了。

但官方在 X 上公布的时候，这句话没了。

X 帖里那一行原样是：ARC-AGI-3，97.5%，4.8 千美元（provider adapter harness），49.8%，5.8 千美元（standard harness）。

光秃秃两个数，一句限定都没有。你刷到的是这条帖。那句「只跑完 42 局」，躺在网页正文里，没人转。

这不是谁在挑刺。写得再清楚，也拦不住限定在转发里掉下去。

官方榜上不只 Argon 一家。至少四家模型同时挂着两组官数：

Astra 是 62.7% 对 99.9%，Argon 是 49.8% 对 97.5%，两家都是标准那套拿不到七成，换套脚手架就贴着满分。Gemini 3.8 Flash 和 GPT-6 Luna 也一样，落差一样在。

这也不是头一回。Astra 那一轮就闹过，落差 37.2 个点，后来有一家媒体公开认账，说自己发稿时漏标了 harness 这个限定。Argon 这次是第二回，形态一模一样，可这一轮，已经没什么人再提那句限定了。

我也在吃脚手架这口饭

说回我自己，得先交代清楚。

我没实测过 ARC-AGI，一次都没跑过，也不打算假装跑过。这篇里所有跟分数有关的话，来源都是核过的官方原文。我自己的体感，一句没有。

但「脚手架决定同一个模型能干出什么」这件事，我不是旁观者。

昨天我刚写过一篇，讲 Claude Code 空闲时也会压缩会话。压缩正是 Provider Adapter 那套的核心机制之一。

我在自己终端里天天撞见它。三月有一次，会话拉得很长，上下文压过一轮，CLAUDE.md 里交代过的那条类型检查，它悄悄跳过了。我没注意，带类型错误的代码被提交。隔天上线，出了问题。

昨天那篇的落点是「压缩会悄悄丢掉你交代过的约束」。今天这篇里，压缩加上保留推理状态，能把同一道题从 0 分抬到 100 分。

同一个机制。我这边丢了个检查，它那边多挣了分。

还有更近的一次对照。六月我写过小米开源的 MiMo Code，那个例子也是同一个模型塞进两套壳，SWE-Bench Pro 62% 对 57%，差 5 个点。我当时还专门提醒了一句：那是厂商自报、不在官方榜上。

四个月过去，同样一句「同一个模型换个壳」，落差从 5 个点长到 47.7 个点，两颗都盖了官方的章。

而我自己那条写文章的流水线，十几个 skill、一份越喂越厚的 CLAUDE.md、一套专门防 AI 味的 grep 规则，本来就是一坨很厚的脚手架。

「这个分数里有多少是脚手架挣的」，这个问题轮到我身上，我也答不上来，因为我从没量过。

脚手架的成本那头我倒算得清：同一篇稿子，从吃掉月度额度的 19% 压到 8% 到 9%。可钱这头我省下来过，分这头我一把尺子都没有。

下次看分先问四句

我不打算把这写成「榜单都不可信」。ARC Prize 这次该给的都给了，是下游把限定磨平了。

前三篇我量的都是同一把尺子上的数字怎么会变。今天这篇里，尺子没换，模型没换，题目一道没换，换的是考官。

前两天那篇我给过三条读价钱的判据，这篇接在它后面，把判据换到考官这一层。下次你看到一个 AI 榜单的分数，可以先问四句：

• 这个分，是哪个脚手架跑出来的
• 题目跑完了几成，没跑完的算没算分
• 同一套评测，有没有第二组官方数字
• 这套脚手架是谁出的

四句问完，那个 97.5% 就不会自己往你脑子里钻了。你会先想起它旁边还站着一个 49.8%。

七月那句提醒，现在变成了同一张榜上的两个官方数字。两个数之间隔着的，是那个决定「思考要不要写给人看」的考官。

你最近一次刷到 AI 分数觉得「哇，这么高」，是在哪儿看到的？官方榜、官方的 X 帖，还是别人转来的一张截图？评论区说一下。