赛博菩萨 Cloudflare，AI 爬虫最严厉的父亲

曾经，赛博Cloudflare 是菩萨爬虫互联网最坚定的「保安」；如今，它正试图转型为最大的最严「收银员」。

作者｜ 靖宇

7 月 1 日，父亲Cloudflare 发布了一篇题为「你的赛博网站，你的菩萨爬虫规则」的博客。标题看似温和，最严内核却极具颠覆性：自 9 月 15 日起，父亲所有使用 Cloudflare 服务的赛博网站，默认屏蔽混合用途的菩萨爬虫 AI 爬虫。

只要页面包含广告，最严AI 训练爬虫和 Agent 爬虫将被自动拦截，父亲除非站长手动在后台解除限制。赛博

这一举措标志着互联网基础设施层对 AI 数据获取方式的菩萨爬虫系统性「立法」，其核心逻辑发生了根本性翻转：从过去的最严「默认允许，可选屏蔽」，转变为「默认屏蔽，可选允许」。

做出这一决定的背景，是一个被低估的里程碑：互联网上的 Bot 流量已正式超过人类流量。

Cloudflare CEO Matthew Prince 指出，这一时刻比预期的 2027 年提前到来。换言之，当下大多数网页的「访客」，主体已不再是人类，而是机器。如何规范 AI 流量，不仅关乎网站的未来，更将重塑 Cloudflare 自身的商业轨迹。

01 最严厉的「爬虫分类法」

Cloudflare 并未将 AI 爬虫一概而论，而是将其细分为三类，赋予网站主独立的控制权：

1. Search（搜索类）：传统搜索引擎爬虫（如 Googlebot），用于建立索引。
2. Agent（代理类）：实时辅助用户访问网页的 AI 代理（如 ChatGPT 背后的执行者）。
3. Training（训练类）：大规模抓取内容以训练大模型的爬虫。

网站主可针对每一类单独设置「允许」或「屏蔽」。这种精细化的分类，实际上是对 Google 等巨头「捆绑式」数据策略的一次精准打击。

直击 Google 的「混合爬虫」痛点

Googlebot 是一个典型的「混合爬虫」，既服务于搜索索引，也采集数据用于 AI 功能（如 AI Overviews）。尽管 Google 提供了 Google-Extended选项供网站退出 AI 训练，但其核心爬虫仍不可避免地同时服务于搜索与 AI。

Cloudflare 的数据揭示了一个残酷现实：由于网站需维持搜索可见性，不得不放行 Googlebot，导致 Google 获得的网页内容访问量约为其他 AI 公司的 两倍。

Cloudflare 引入「最严规则优先」原则：若爬虫兼具搜索与训练功能，将执行最严格的屏蔽规则。这意味着，一旦站长选择屏蔽 Training 爬虫，Googlebot、Applebot、BingBot 等混合爬虫也将被一并拦截。

此举旨在打破「想被搜索到，就得接受被 AI 训练」的捆绑逻辑。

旧「社会契约」的彻底崩坏

一组数据揭示了 AI 时代流量交换的失衡：

• Google：爬取与回流比约为 14:1（每爬取 14 页，回流 1 次点击）。
• OpenAI：比例高达 1,700:1。
• Anthropic：比例更是达到惊人的 73,000:1。

在搜索引擎时代，「爬取内容换取流量」的交易尚能维持平衡；而在 AI 时代，这种不对等的掠夺已难以为继。

02 从「保安」到「收银员」的商业野心

如果仅止步于防御，Cloudflare 的角色仅是「保安」。但其野心远不止于此。

去年 7 月，Cloudflare 推出「Pay Per Crawl」（按爬取次数收费）；今年，该模式升级为 「Pay Per Use」（按使用价值收费）。

• Pay Per Crawl：爬虫每访问一次，支付一次费用。
• Pay Per Use：当内容在 AI 系统中产生实际价值（如生成回答、出现在搜索结果中），出版商方可获得收益。

这一转变标志着 Cloudflare 试图构建一个「AI 内容交易市场」，而非单纯的防火墙。

初步合作与潜在争议

目前，Ceramic.ai 和 You.com 是首批合作伙伴。Condé Nast CEO 称其为「游戏规则的改变」，Reddit 联合创始人认为「整个生态系统都将受益」。

然而，故事并非完美无瑕。今年 3 月，Cloudflare 推出了自家的爬虫 API，可一次性抓取网站并返回结构化数据。此举引发了出版商的担忧：那个承诺保护网站的公司，为何自己造了一个爬虫？

尽管 Cloudflare 随后修复了屏蔽自身爬虫失效的问题，并解释其爬虫为「合规爬虫」，尊重 robots.txt及自身规则，但互联网舆论已将其定性为「两边下注，永远赢」的策略。

角色冲突：裁判还是运动员？

Cloudflare 同时扮演了三种角色：
1. 规则制定者：定义爬虫分类。
2. 规则执行者：在基础设施层拦截流量。
3. 市场参与者：运营爬虫及内容交易平台。

这引出了一个根本性问题：Cloudflare 究竟是中立的基础设施裁判，还是新型的中间商？

答案倾向于后者。它正在构建一个以自身为枢纽的 「AI 内容税收站」。虽然将无序的数据掠夺纳入「分类、许可、付费」的框架是进步，但将其视为创作者的「救世主」则过于天真。

03 普通人能分到蛋糕吗？

在这场博弈中，受益者似乎仅限于头部玩家。

大厂的筹码 vs 小白的困境

Condé Nast、Reddit 等大型出版商拥有规模、法务团队和谈判筹码，即便没有 Cloudflare，也能与 AI 公司直接签署许可协议（过去一年全球已签署超 50 份大单）。对它们而言，Cloudflare 仅是多了一个工具。

但对于个人博主、独立开发者、自媒体人而言，情况截然不同：
* 理论上：Cloudflare 降低了小创作者与 AI 公司谈判的门槛。
* 现实中：「Pay Per Use」目前仅有两家小玩家合作伙伴，OpenAI、Google、Anthropic 等巨头尚未入场。

曝光焦虑与流量黑洞

对小创作者而言，曝光即生存。屏蔽 AI 爬虫可能意味着在互联网噪音中彻底消失。大媒体屏蔽爬虫，Google 搜索仍会收录；小博客屏蔽爬虫，则可能失去所有自然流量。

更严峻的数据表明：
* AI 聊天机器人带来的引荐流量比传统搜索少约 96%。
* 用户在 AI 回答中点击引用来源的概率仅约 1%。
* 出版商因 AI 搜索功能损失了 20%-90%的流量和收入。
* Google AI Overviews 导致外链点击量下降约 40%。

即使「Pay Per Use」全面铺开，其付费规模恐怕也难以弥补广告收入的巨额缺口。这更像是一次「止损」，且未必能止住。

此外，Cloudflare 报告指出，50% 以上的 AI 爬虫流量用于重复抓取未更新页面。解决效率问题有价值，但这与让创作者真正赚到钱，是两回事。

04 「菩萨」也有自己的庙

Cloudflare 被称为「赛博菩萨」，是因为它将 AI 数据掠夺从暗处拉到明处，迫使 AI 公司明确数据用途。在 Bot 流量超越人类流量的今天，这种「立规矩」的行为值得肯定。

但「菩萨」也有自己的庙。

• 覆盖局限：Cloudflare 仅管理全球约 20%的网络流量。剩余的 80% 网站不受其保护，AI 公司完全可将采集重心转移。
• 监管压力：Google 和 Apple 已提供形式上的退出工具，可能绕过 Cloudflare 拦截。英国 CMA 正施压 Google，要求其在不影响搜索排名的前提下允许出版商退出 AI 训练。

基础设施公司的政策，无法终结内容权益重新分配的博弈。

但它揭示了一个深层趋势：互联网的「收费站」正从搜索引擎层下沉至基础设施层。

过去二十年，Google 是决定谁能被看见的守门人；现在，Cloudflare 试图在更底层设立关卡——你要过路，先亮明身份，再按规矩付费。

收费站变了，但收费的逻辑，未必变了。

头图来源：hitechnectar.com

本文为极客公园原创文章，转载请联系极客君微信 geekparkGO

极客一问

当 AI 消耗你的内容却不回馈流量，你愿意被「保护」还是被「代理收费」？

(责任编辑：热点)