2025 年 7 月 1 日 Cloudflare 上线按爬取付费并默认拦截未付费 AI 爬虫后，全球越来越多内容站、电商与票务平台把机器人验证、签名校验与付费访问设为默认门槛，OpenAI、Perplexity、Google 的自主浏览智能体在订餐、比价、清空收件箱等任务中频繁被拦。这一转向直接压缩了代理式商务的可达范围，也让“能上网”从免费默认变成需要谈判的资源。本文核心结论是：智能体经济的下一道瓶颈不在模型能力，而在站点是否愿意签发一张通行证。
事件可拆成三步。第一步是拦截。2025 年 7 月 1 日，Cloudflare 把“按爬取付费”设为默认规则，未完成付费谈判的 AI 爬虫在其网络内直接收到拦截响应，覆盖其宣称的全球约 20% 网站流量，受影响域名以百万计。第二步是建身份。同年 9 月，Cloudflare 联合 OpenAI、Anthropic 等推出 Web Bot Auth，用 HTTP 消息签名给智能体发放可加密验证的身份，机器人不再靠 User-Agent 自证。第三步是分账。同月 OpenAI 与 Stripe 发布 Agentic Commerce Protocol，Google 推出 AP2，首批合作方超过 60 家支付与金融机构；10 月 OpenAI 面向 Plus 与 Pro 用户发布 Atlas 浏览器，Perplexity 把 Comet 从 200 美元/月的 Max 专属改为全量免费，代理端流量基数随之放大。
2025 年 11 月，Amazon 起诉 Perplexity，主张 Comet 以代理身份代用户下单违反用户协议。到 2026 年 10 月，封禁从“屏蔽爬虫”升级为“屏蔽代理”：站点在同一套网关里同时处理训练抓取与
为什么现在发生：三个前提在 2025 年前后同时成熟。一是经济前提，训练数据授权已经形成价格，Reddit、新闻集团等陆续签出授权合同，站点第一次看到“内容可计价”的真实收益，拦截因此从情绪表达变成收入决策。二是技术前提，Cloudflare 这类反向代理握有站点全部流量入口，在 robots.txt 之外加装强制手段只需一次配置下发，而 robots.txt 自 1994 年以来从未具备强制力。三是竞争前提，搜索导流带来的广告与订阅收入正被“答案直达”侵蚀；一旦智能体代用户完成比价与下单，站点失去的不只是曝光，还有定价权与用户关系。
此前类似事件的路径也很清楚：2023 年站点靠 robots.txt 表态，2024 年转向封 IP 与法律函件，2025 年转向签名与付费，2026 年进入“默认拦截、白名单放行”。这不是技术故障，而是开放网络在代理时代重新划边界。
刘工判断：未来 12 个月内，能否拿到站点签发的可验证身份，将比模型跑分更能决定智能体的可用性；未完成签名与付费谈判的通用智能体，在电商结账与票务这类高价值场景的成功率大概率跌破五成，而签下授权协议的少数玩家会拿到事实上的排他入口。
从技术层面看，Web Bot Auth 用 HTTP 消息签名把“我是谁”变成可加密验证的声明，这与工业质检给每个零件打可追溯标识同构——在没有身份层的系统里，唯一可行的区分手段是行为检测，而行为检测的边际成本永远高于签名验证。刘工在 AI 视觉检测行业看到的规律是：一旦一方能观测到足够的会话特征，伪装成本会呈指数上升。站点只要比对请求头一致性、DOM 事件时序与鼠标轨迹，几轮会话内就能把智能体与真人分开；智能体要“像人”就得主动降速，这恰恰与代理范式的效率承诺自相矛盾。同为每月 20 美元档的订阅产品，侧边栏助手与全功能浏览器代理的用户感知差异很大，但在封禁站点面前，可达性会被压平到同一水平。
在商业维度上，拦截方并不想彻底关门。Cloudflare 的按爬取付费、OpenAI 与 Stripe 的 Agentic Commerce Protocol、Google 的 AP2，本质都是把机器人流量从成本项改写成收入项。真正被改变的是议价结构：握有独家内容的站点可以开高价，商品信息透明的电商反而可能主动开放，因为代理带来的成交本身就产生佣金。刘工预测，2027 年上半年会出现第一批“智能体专属定价”的商品目录接口，按查询次数或成交抽佣结算。
对行业而言，后果是开放网络分层：一层是需要签名与付费的许可区，一层是仍可自由抓取的公共区，中间夹着靠验证码维持现状的大量中小站点。中小站点短期拿到可见的授权收入，长期风险是把分发主动权交给少数网关与少数智能体平台。
- Cloudflare 覆盖其口径下全球约 20% 的网站流量，2025 年 7 月 1 日起对未付费 AI 爬虫默认拦截，其网络内受影响域名以百万计。
- 2025 年 9 月推出的 Web Bot Auth 由 OpenAI、Anthropic 等参与支持，以 HTTP 消息签名替代 User-Agent 自证；同月 Google AP2 首批合作方超过 60 家支付与金融机构。
- OpenAI Atlas 于 2025 年 10 月面向 macOS 的 Plus（20 美元/月）与 Pro 用户发布；Perplexity Comet 同期从 200 美元/月的 Max 专属转为全量免费，代理端流量基数显著放大。
- 2025 年 11 月 Amazon 起诉 Perplexity，主张代理代下单违反用户协议；robots.txt 至今无强制力，站点实际依赖 IP 封禁、验证码与法律函件三类手段。
对行业而言，短期（3 个月）看，拦截会继续从训练抓取蔓延到实时任务执行，网关厂商与模型公司需要尽快完成签名互认与结算对接，否则通用智能体的任务成功率会明显下滑；中期（1 年）看，内容授权与代理佣金将成为可独立核算的收入项，具备独家数据或独家库存的站点议价能力上升，纯聚合型平台被挤压。
对普通用户而言，短期最直观的变化是“智能体变笨”：同一句指令在部分站点能完成、在另一些站点卡在验证码或登录墙，用户需要手动接管，体验割裂。中期看，付费智能体与免费智能体的差距会从模型能力转向站点覆盖，用户可能为“能进得去”而买单；同时代理下单的权限与责任边界需要明确，否则退款、错单与账号安全纠纷会大量出现。
值得继续思考的问题：
- 身份层之争：Web Bot Auth 能否成为智能体时代的 TLS 证书体系，谁掌握根信任与吊销权。
- 定价机制：按爬取付费、按查询计费与按成交抽佣三种模式，哪种能在内容站与电商之间形成稳定均衡。
- 中小站点处境：接受网关统一规则换取授权收入，还是自建拦截以保住分发主动权。
延伸阅读：2026 主流 AI 大模型对比——不追热点也能长期有用的选型指南，收藏备用。
本条动态来自 The Verge AI（发布于 2026-10-17 13:00:00）。本站为海外 AI 动态的中文转述与观点评论，原文版权归原作者所有。
每日聚合海外 AI 一手动态与深度观点。收藏本站，不错过每一个重要信号；返回首页查看更多。
