流量结构逆转：从人类主导到程序博弈

2025年9月，亚马逊等网站向AI代理弹出拒绝访问的法律声明，这并非单纯的企业商业决策，而是底层基础设施行为改变的后果。2025年机器人占据了全网超过 53% 的流量，较前一年的 51% 进一步上升，而人类流量降至 47% 并持续下滑。这意味着每100次网站访问中，有53次并非来自真人，其中近三分之一为恶意机器人。网络已从“人类聚集地”转变为“程序交互场”，当访客多为非人类实体时，开放访问不再是礼貌问题，而是安全决策。这一转变迫使开发者必须重新评估其代理程序的接入策略。

三大核心阻力：安全、成本与责任归属

网站限制AI代理主要基于三个维度的考量。首先是安全风险，27%的机器人攻击直接针对编程接口而非页面前端，金融领域去年遭受了 46% 的账户盗窃攻击。正如原文所述：

"When your business is someone's money, passing up a program that claims to be their assistant is a gamble you can't afford to take." 其次是服务器成本，高频刷新页面的代理不产生广告收益却消耗资源。最后是难以界定的法律责任，当AI操作资金出错时，银行无法承担风险。

基础设施的默认设置：Cloudflare的关键转折

真正导致大规模访问受阻的是2026年9月15日Cloudflare的默认配置变更。作为全球 28.2% 网站的反向代理提供商，Cloudflare将默认设置调整为阻止被分类为训练机器人和AI代理的访问（针对显示广告的网站），而允许搜索爬虫通过。这一变更并非由单个企业主动发起，而是基础设施层的默认行为调整。

策略误判的代价：沃尔玛案例与政策现状

当前实际执行的政策极为宽松，Tales报告显示仅 12% 的AI追踪流量被基于客户规则阻止，其余 88% 仍可通过。然而，由于大多数网站未手动调整这“三个开关”（搜索、代理、训练），导致误判频发。沃尔玛作为Meta Muse合作伙伴，因未正确配置人机验证逻辑，意外拦截了正常人类用户。这揭示了当前技术栈的脆弱性：

"The door isn't closed, it's ajar and there's no doorman... The real cost of a poorly calibrated threshold is not the program trying to get in that pays for it, but the client behind it." 开发者需在浏览器登录、接口邀请或随机尝试之间做出选择，且无通用最优解。

数据来源的偏见与“53%”的真实含义

在讨论网络流量构成时，必须首先审视数据的来源及其局限性。目前广泛引用的Tales报告和Cloudflare的数据虽然结论一致，但这两家公司均销售流量防御服务，因此这种一致性并不代表独立的第三方测量结果。Tales报告明确指出，其数据仅统计“可检测的流量”，即那些被识别或触发控制程序的机器人行为。这意味着53%这一数值仅仅是下限，而非上限。尽管存在这种测量偏差，但一个核心结论依然成立：如果绝大多数访问并非来自人类，且仅有12%的AI爬取行为被现有规则拦截，那么问题的本质并非网站“关闭”了入口，而是网站在没有设定任何准入标准的情况下完全开放。这种缺乏筛选机制的现状，才是导致后续一系列冲突的根本原因。

点击率的崩塌与流量垄断的现实

真正驱动网站封锁AI代理的动力并非技术防御，而是经济利益的流失。Pew Research在2025年3月进行的一项针对900名美国成年人的研究显示，当搜索结果出现AI摘要时，用户点击传统链接的比例仅为8%；而在没有AI摘要的情况下，这一比例上升至15%，几乎翻了一倍。这表明，解释封锁现象的关键机制不是机器人进入网站，而是“点击”这一行为的发生率下降。Chartbeat的数据进一步证实了这一点：从2024年11月到2025年11月，Google向全球超过2,500个网站发送的流量下降了33%，在美国地区则下降了38%。路透社研究所的调查也显示，编辑们预期未来三年流量将再降43%。

"The mechanism that explains all the blockages is not the robot entering, it's the click that doesn't happen."

流量并未消失，而是高度集中。Google通过搜索引擎提供的访问量是ChatGPT的500倍，若计入发现频道则高达1300倍。这种垄断地位使得像亚马逊这样的巨头拥有极大的话语权，其占据了美国39.7%的电商市场和超过79%的数字广告支出。亚马逊不仅封锁了Perplexity并提起诉讼，还通过简化确认邮件内容（移除产品名称和图片）来切断数据源。这标志着企业不再仅仅是保护网站，而是主动关闭喂养其他公司AI代理的数据水龙头。目前的情况是：大多数网络流量已非人类，且9月15日默认的封锁阈值并非由单个网站决定；同时，只有12%的AI爬取被规则拦截，而真正关闭大门的是因点击缺失造成的经济损失。

WebBotAuth：基于密码学的身份认证方案

为了解决上述问题，一种名为WebBotAuth的技术提案应运而生。该协议由Cloudflare于2025年5月提交，并在同年10月底成为互联网标准组织的一个工作组文档。其核心逻辑在于改变传统的访问验证方式：过去网站仅能获取共享且易伪造的网络地址，而WebBotAuth要求AI代理对每个请求进行签名，并在目录中发布其公钥。这样，网站可以验证两个关键信息：程序的真实身份以及它代表谁在行动。这一转变标志着从“猜测”到“验证”的技术跃迁。

"The measurement that proves this is already underway is a status code. The 402 has existed since the 1990s and means payment required."

这一协议的实施伴随着HTTP状态码402（Payment Required）的复兴。尽管该代码自1990年代存在，但过去几乎无人使用。Cloudflare在2025年8月表示，其客户每天发送超过10亿次402响应。这并非简单的拒绝访问，而是一种可能包含文本信息的交互机制（例如“如需授权此内容，请联系...”）。目前已有四个代理从第一天起就支持签名：Chachi Petit的代理、开源项目Gus the Block、Browser Bass以及Anchor Browser。值得注意的是，规模大小并不赋予ID卡，而是提供身份识别。Gus作为免费软件拥有此功能，其他代理若发布目录也可获得。目前有两个主要协议竞争这一领域：一是Shopify和Google发布的通用商务协议，二是Meta和Sierra推出的个人代理协议。两者核心思想一致：识别自身身份，由站点决定准入。法律层面也支持这一方向，第九巡回法院在撤销对Perplexity的禁令时指出，访问网站的是个人而非代理公司。然而，用户需警惕“伪解决方案”，因为签名仅在站点验证时才有效；许多自托管的WordPress网站即使安装了插件也无法真正执行验证，导致标准仅在有“看门人”的基础设施处生效。

基础合规：诚实的用户代理与身份标识

完成诊断后，首要任务是解决最基础的“匿名”问题。亚马逊对Muse的主要批评在于其未进行身份识别，这是只需5分钟即可修复的关键缺陷。开发者必须为AI代理配置诚实的用户代理（User Agent），包含产品名称和联系邮箱。这一举措虽不能保证立即解封，但能将代理从“匿名程序”类别中移除。在遭遇拦截时，拥有明确身份标识是获得人工介入机会与永久封禁之间的决定性差异。如果代理使用人类用户的会话进行浏览，必须在请求头中明确声明这一点。这种做法零成本且能消除“隐藏身份”的指控，其核心收益在于确立代理在服务器记录中的存在性。成本仅为5分钟和一个名称，但换来的是“你在另一端是真实存在的”这一关键事实。

进阶信任：Web of Trust与密钥签名机制

若需进入更高级别的“已验证机器人计划”，则需要投入一天的工作时间和一个域名。通过Web of Trust对请求进行签名，需要编写少量代码并维护一个发布在稳定地址的公钥目录。这一机制允许代理获得经过验证的身份，尽管网站仍保留最终的政策决定权。这不仅是技术实现，更是向服务器证明代理合法性的标准流程。对于涉及服务交互的代理，严禁将密码硬编码在配置文件中。应采用模型上下文协议（MCP），要求服务器充当授权服务器，用户携带包含受众、范围和过期时间的令牌而非凭据。实施此方案的成本为一下午（若使用身份提供商）或一周（若自行搭建），这是构建可信交互的基础设施。

架构设计：读写分离与权限控制

除了身份认证，代理的交互逻辑也需重新设计。核心原则是分离读取与写入权限：允许代理浏览目录，但支付行为需获取显式授权。这一设计理念源自相关研究文章及通用商业协议（Universal Commerce Protocol），Muse在登录或购买前也会遵循此逻辑。这种设计不仅符合安全规范，也是防止代理滥用权限的关键。此外，开发者需预设被拦截的可能性，并将此转化为产品特性。当代理无法进入网站时，应向用户反馈“他们不让我进这个网站”，而非报错。这是一种产品话术，旨在管理预期并减少用户困惑。第六个常被忽视的风险在于代理成为攻击目标：Andrew Biggs的测试显示，在无防御情况下，123个攻击案例中有23.6%成功；而在启用防御后，成功率降至11.2%**。拥有开放会话和购买权限的代理是完美目标，必须通过本地化部署来降低风险。

战略抉择：本地运行与协议替代路径

针对不同类型的代理，应采取截然不同的技术路线。如果是个人使用的购买或预订助手，应在本地设置并签名。目前最广泛使用的浏览器库是开源的、免费许可的，可在本机运行本地模型，且仓库星标数已超119,000。即使最终被封锁，本地部署也能让你知晓原因并进行申诉。反之，如果是面向数千用户和第三方商家的产品代理，不应基于浏览器构建，而应直接建立在商业协议之上。Meta等巨头已证实，为人类眼睛设计的导航路径昂贵、缓慢且脆弱。无论选择哪条路，核心规则不变：代码是免费的，但“卡”（即信任与合规身份）不是。自9月20日亚马逊页面出现以来，这一趋势已不可逆转。现在不再是单一公司对他人的拒绝，而是网站要求提供一张“身份证”。这张证可通过诚实的用户代理和密钥目录在当天下午开始制作。大门的开启不依赖请求或法律，而始于声明你是谁。

结论

网络流量结构已发生根本性逆转，程序交互取代人类成为主导力量。这一转变迫使网站从被动防御转向主动的身份验证与准入控制，核心驱动力在于安全风险、服务器成本及点击率崩塌导致的经济损失。WebBotAuth等基于密码学的身份认证方案，通过签名和公钥机制实现了从“猜测”到“验证”的技术跃迁。尽管基础设施默认设置和协议竞争带来了复杂性，但基础合规措施如诚实的用户代理配置仍是低成本且必要的起点。未来访问权不再取决于技术能力，而依赖于建立可信的数字身份与明确的权限边界。