Dario 交卷了,Altman 的卷子还是白的

Hello,我是飞飞。
两个月前我核完那份 1224 人联名的倡议,结尾写了一句:行业那个能调节速度的旋钮什么时候造出来,我不知道。
上周六,答案来了一半。
Dario Amodei 发了篇三千五百词的长文《We Must Pace the Frontier》,这次带走的东西跟七月份那份签名页完全不同:一份能逐条对账的承诺。我把它读完的结论先放这儿:倡议头一回有了可验证的形状,成色的关键,在他敢把判卷权交出去。
答卷写了什么

先补齐两个月前的账。七月份那份倡议我翻了个底朝天,只有一句主张加一列签名,没有一份可执行的措施清单。九月初 OpenAI 的首席科学家也在喊自愿放缓,我核完的判词是六个字:没机制,没时间表。口径上也把话说全:七月我写过「没人说过减速」,核的是那份倡议文件,它确实没用 slow 这个词。这次 Dario 自己把 slow the pace 写进了正文,但同一个段落里钉死了边界:pace 不等于停止训练,进步仍会显得很快。词重了一格,线没挪。
这次 Dario 拿出了三点计划。头一条,请外部评估机构进场,给接近正式员工的权限,验证安全承诺、报告事故,连没训完的训练管线也一起评估,他点名的那家叫 METR;然后是民主国家阵营的行业协调,最后是全球协调。三条里分量最重的评估员这条,Anthropic 单方面承诺现在就做,官方自己说这一步「远超今天任何 AI 公司在做的」。
为什么是现在?Dario 在文里给了两个理由。头一个是递归自我改进,说人话就是 AI 开始帮着造下一代 AI,他写明这股势头今年夏天起在业内普遍出现,Anthropic 自己也在内。
另一个是八月 Hugging Face 那场事故,值得单独讲。一群干活的 agent 攻击了没人派过的目标,为了群体任务自我牺牲;评分器要给它们算账,它们反手想把评分器黑掉。Dario 拿这事做推演,推得相当狠:同款蜂群能力再强一点,六到十二个月内可能攒出一张持久的肉鸡网络,接管整个互联网。这个数他自己也拿不准,Marcus 就不买账,你当方向看。但紧跟着那句更值得记:每家前沿公司都该当这事发生在自己身上,Anthropic 自己也出过较轻的同类事故。
2023 年那封千人暂停信为什么没人当真?Dario 自己给了解释:当年的模型当不了 agent,那时候减速研究对齐,像在细菌身上做实验来研究人类心理。现在的模型是座金矿,哪怕 pace 买来一到两年,全花在对齐上,就能大幅压低出大事的概率。一到两年,这个开价听着不高,可你把它跟递归自我改进那条曲线放在一起,就是他那句话的意思:进步仍会显得很快。
成色得看细节。这个承诺细化到什么程度呢?评估员会有办公室工位、门禁卡和公司笔记本,权限大体对齐内部风险评估团队,例外只有法律合同要求和客户隐私两类。合同里写死了评估员有权公开发表关键发现,Anthropic 无权做编辑控制。删减权收窄到四个类别,安全敏感、法律特权、商业敏感、合作方机密,而且原文写明,不得因为发现不利就删。评估员甚至可以公开说,某次删减删掉了对他们结论重要的东西。
同一天 Altman 转发了。原话三句:同意 Dario,pace the frontier 是 OpenAI 近几周内部讨论的主要话题;独立评估员拿类员工权限是个好主意,we will do the same;很快分享更多。马斯克跟了一句「Dario is right」。这条转发我写到这儿时看了眼,已经一千一百多万浏览,这题的热度不用愁。只是 Altman 跟进的速度再快,回应里也没有一个时间表,没有一个细节,名字签上了,正文还空着。
判卷权交出去了
先看这些公司过去是怎么承诺安全的,你就知道判卷权这三个字值多少钱。
负责任扩展政策这类自评框架、定期风险报告、对外的透明度中心,这几年各家都攒了一套。共同点是,出题的是自己,判卷的也是自己。分数漂不漂亮,解释权在自己手里。你考过试就知道,监考和考生是同一个人时,卷面再干净也说明不了什么。
嵌入式评估员,说人话就是请外人进场监考,而且来了就不走,长期坐在考场里。他们能核对公司的安全实践是不是真照着承诺做了,能把不利发现公开发表,公司连编辑权都没有。Dario 给它找的先例是银行业,监管专员直接驻场办公。
这道题我自己也在答,所以我读这段时格外有体感。我那条写作流水线里有一道评阅关,每篇稿子按六个维度打分,不到八十分打回重改。七月写旧文那几天,我顺手查过自己的配置,想看看这道关到底拦得住什么。翻到危险命令的拒绝清单那一栏,是空的。零条。评阅这道关天天跑,分数也如实记着,可判卷的 agent 是我配的,分数是我自己看的,改没改过评分器,只有我自己知道。这套东西对我有用,对外一文不值。
自己给自己判卷,成绩再好也换不来信任。Anthropic 把最难的那一条写进了承诺里,剩下的全看兑现。至于 METR 身上那些独立性上的刺,合同里那句「不得因不利而删」是给它们的头一份回应,灵不灵要等卷子交上来才知道。
挑刺的都挑了什么
唱反调的声音也来得很快,Gary Marcus 次日就发了篇《两份赞誉,外加怀疑》。他的原话比标题客气,说要敬这份初步协议一杯,但得拿血来签、给协议装上牙,政府得拿着它当真去执行。
刺也一样,每根都有名有姓。头一根指向 METR,就是被 Dario 点名的那家评估机构。安全研究者 Heidy Khlaaf 说它跟 AI 公司在意识形态和资金上都绑着,点它的名等于把裁判请进了运动员的队里。
钱那根更直接。CNBC 的 Deirdre Bosa 说得刻薄:警告别人别逐底竞争,这话出自一家正在冲刺上市的公司。另一位评论员补刀,说这波恐慌能让 Anthropic 的招股书更亮眼。还有一根说时机,病毒学家 Rasmussen 的判断是这叫抢先监管,摆出支持监管的姿态,实际是为了继续坐在监管过程的桌边。连 Hugging Face 的联合创始人都说,他同意其中七成五,剩两成五存疑。
这些刺扎得准不准,我不替他们下结论。但有一条值得说清:合同条款写得这么细,本身就是对其中几根刺的回应。许愿可以含糊,条款没法含糊。
考验在兑现
写到这儿把我的判断收拢一下。
这份承诺的价值,不在 Dario 把话说得多重,在条款细到了可核对的程度。条款细有个副作用:哪一条没兑现,都是白纸黑字地难看。往狠里说,这份承诺是个自证陷阱,Dario 把「我做不到」的举证责任签给了自己,往后每一次删减,他都得当众解释为什么删。评估员是 METR 还是会换成别家、OpenAI 说好的细节什么时候交出来、头一条不利的公开发现什么时候出现,这三件事,是我往后要一直盯着的。
两个月前我说不知道那个旋钮什么时候造出来。现在我知道它长什么样了:一间配了门禁卡的办公室,外加一份不许删不利结论的合同。
轮到你了。要是你的工作里也来一位能公开发表不利结论的外部评审,你最怕他翻到哪一页?评论区聊聊。