被 AI 抓了 6615 次，没人点回来
Hello，我是飞飞。
上周我这台博客服务器，被 AI 爬虫访问了 6,615 次。
从 AI 的答案里点回我博客的，0 个人。
这两个数我都门儿清，因为我给它们记了十九周的账。今天想跟你聊聊这笔账，再聊聊 Reddit 这两天做的一个相反的决定。
它每周少一百万次
Reddit 在 Q3 财报里说，10 月他们的搜索引荐平均每周少掉超过 100 万次。应对办法是转向以登录为主的体验，第四季度先在美国以外几个市场试，全球时间表还没有。
它的联合创始人 Steve Huffman 在帖子里写了一句：作为一个生活被开放互联网定义的人，这是个很大的改变。但我已经得出结论，这对我们的平台、对我们的生意都是对的。
同一周 Alphabet 也发了财报。股价当天一度跌一成。搜索广告收入涨了 12%，比分析师预期的 15% 低。电话会上，高管 Philipp Schindler 承认：AI mode 的查询增长很快，可变现率更低。
这几条听着矛盾，其实能同时为真。搜索广告收入涨了 12%，到 634 亿美元。查询量的年增速还是五年来最高。
问的人更多了，广告的钱也更多了，可 AI 那一块的变现率在往下走。
Reddit 的选择我完全理解。每周少 100 万次引荐，这是它的核心业务在漏水。它有登录用户、有广告库存、有跟模型厂商谈训练授权的筹码。
关掉之后换回来的是议价权。这是笔划算的账。
这两个数其实不能直接比。它说的是搜索引荐，我记的是 AI 引擎的 referrer。
但量级差摆在这儿。它一周漏掉的水，是我十九周加起来那一百五十三次的六千多倍。
我这十九周的账
我走的是反方向：一直开着架。
robots.txt 里我把主流 AI 爬虫显式放行了，检索类和训练类都开。
这套监测是 6 月自己搭的。nginx 日志每天落盘，一个脚本按 UA 认 16 种 AI 爬虫，另一个按 referrer 认 AI 引擎导回来的人。每周一自动生成周报，写进一份台账。
到上周为止，十九周加起来：抓取十二万八千多次，AI 回流一百五十三次，总回流率 0.12%。
上周是最干脆的一周。6,615 次 AI 抓取里，438 次是检索类。这 438 次里，273 次是引擎在给自己建索引，只有 165 次是真人问了问题、引擎现场来取这一页。剩下五千多次，大头是 Meta 和 OpenAI 的训练爬虫。
回流，0。
再说个比例。上周 Meta 一家占了 4,798 次，加上 OpenAI 的 GPTBot 681 次，两家合占 82.83%。抓得最凶的是这两家。可回流那一百五十三次里，大头是 chatgpt.com 来的，Meta 一次都没有。
Anthropic 的 ClaudeBot 上周 90 次。这家抓得最克制，也最没规律，早先连着几周挂零。
零回流不等于没人用
这里得把口径说清楚，不然前面那些数会被读歪。
我记的「回流」是 referrer 计数，指真的有人点了 AI 答案里的链接、浏览器带着 AI 引擎的域名跳到我这儿。
AI 把答案直接说完，人是不会点链接的。所以这个 0 说明不了「AI 没用过我的内容」。它只说明没人顺着链接来。
台账里我还记着另一个数：用户触发型抓取。上周 165 次，意思是有人真问了问题，引擎现场来取这一页。这是离「被摘进答案」最近的一个先行指标。
它在动，回流没动。这个落差我盯了十几周。
这套办法还有个天花板，得说清楚：AI 不告诉你它引用了谁。我数得到「有人点链接来了」，数不到「它在答案里提了我、但没人点」。所以这个 0 只是下限，真相可能比它大。
顺带说个插曲。10 月 5 日那期报表出来，所有 AI 爬虫的数全是 0。
我先去核站点本身：返回 200，响应 0.32 秒，人还在访问。
再看传统爬虫：Googlebot 从 265 次变成 0，Baiduspider 从 308 变成 0，bingbot 从 2196 变成 0。三家一起归零，那就轮不到怪 AI 那边了。
再去翻脚本日志，找到一条连续十四期每期都在的提示：日志超 50MB，已轮转保留最近 20 万行。那期第一次没出现。
三条对完，结论是 nginx 从 9 月 29 日就没再写日志。站点没挂，是采集断了。
那期我作废，没记进趋势。一直到 10 月 7 日部署，容器重启，日志才跟着回来。
两个数骗过我
这两个月，我自己也读错过两次。
第一次在 8 月中旬。有一周 Claude-User 从 16 次跳到 2,349 次，涨了一百多倍，看着像 Anthropic 突然开始大量来取了。我差点把它写进周报当好消息。
往下翻抓到最多的前十页，才发现不对：七页是 /.env、/wp-config.php、serviceAccountKey 这类安全探测路径，一篇正文都没有。
下一周它崩回 237，前十也恢复正常。那是一次安全扫描器伪造了 Claude 的 UA。
从那以后台账里立了条规矩：暴涨先当抖动，连续两周同向才算信号。
第二次更丢人。7 月初我发现「Perplexity 回流」这个数一直是错的。
PerplexityBot 的 UA 字符串里自带一个 perplexity.ai 的网址。我那行统计是整行匹配，就把它当成了用户点回来的 referrer。
铁证是四周的数字精确相等：PerplexityBot 抓了多少次，perplexity.ai 就「回流」了多少次，一次不差。
改成只认 referrer 字段之后，历史三期的回流从 10、3、82 回填成 3、0、0。
七月还有过一次。那一周回流第一次干净地破冰，24 次，几乎全从 chatgpt.com 来。下一周 20 次，几乎持平，我当时的判断是从单周信号变成可重复的了。
第三周归零。
后来它零零星星又亮过几回，最高一次 39 次，也都是单周的事。到现在我把它归进噪声区间，不往趋势里放。
两个月我白高兴两回。所以现在这份账上，我更信那些连续十几周都不变的东西：抓取在涨，回流不涨。单周的暴涨我基本不看。
那为什么还记？因为不记就更不知道。
抓走的全是半年前的老文
还有一个数更扎心。
上周被 AI 抓得最多的三篇，分别发在 3 月 23 日、3 月 20 日、4 月 26 日。
三篇都围着具体工具转：腾讯 WorkBuddy 是不是套壳、OpenClaw 怎么接钉钉表格、Claude 桌面客户端怎么接国产模型。
这周写的稿子，一篇没进榜。
补一句：没上榜不等于没被抓，台账里我每次都写这句。
可这个形状连续十几周没变过。AI 检索要的是「怎么做」的步骤，我最近写的大多是「我怎么看」。
形状不对，被抓回去也多半只是进了语料，没进答案的出处。这条我手上只有抓取侧的旁证，说不到更死。
你要是也在写东西，可以去翻一眼自己的：AI 抓到的那些，是你上周写的，还是半年前写的？
闭架库不是谁都能开
把两件事放一起，我想说的判断是这个：
能不能闭架，跟道理没关系，跟体量有关系。
Reddit 宣布要把书锁进闭架库，第四季度先在美国以外几个市场试。代价是那些没登录的老读者可能不来了，换来的是数据议价权和更值钱的广告库存。它输得起这段时间。
我锁，代价是我从这个语料池里消失。我没有登录用户可以变现，也没有数据能卖给谁。开架的时候本来就没人排队，锁上是净损失。
所以 6 月那篇的判断我到现在认：技术层只是让机器够得着，内容层才是根。现在我想再加半句：够得着之后，还得刚好长成 AI 想引用的那个形状。
我为什么还开着架
那就一直开着？
我想了几天，答案是开着，但目的变了。
6 月我开架，是想换流量。现在我把这件事重新定义成：在 AI 的语料里留一个能核对的出处。
这个词有分量。AI 现在引用的很多东西追不到源头。你让它给个数字，它给得很干脆；你问这数从哪来，它给一个看着很像的链接，点进去对不上。
我能做的不多。就是让我写过的每一个数，都能顺着链接找到原文，找得到哪天测的、口径是什么、哪部分是估算。
这件事没有回流率可以衡量。所以我认了 0.12%。
轮到你：你有没有算过，自己写的东西一周被 AI 抓过多少次？如果算出来也是 0 回流，你会把门关上，还是继续开着？评论区说个数。