摘要
2026 年 11 月 4 日，Cloudflare 将面板里的「Configure AI bot policies」正式更名为「AI Crawler and Agent access policies」，并为头部 Personal Agents 开放逐一授权。Search、Agent、Training 三类行为各自独立设置，只有 Training 额外提供 Disallow（写入 robots.txt，且官方明示"robots.txt 指令是自愿的，爬虫可以忽略"）。对站长的直接影响：训练意图可以在 robots.txt 表达，用户触发的抓取和代理访问必须在边缘解决，只写一行 GPTBot 的规则并不等于关掉了 ChatGPT-User。
事件
Cloudflare 在 2026-11-04 的 changelog 中发布「Granular access controls for the top Personal Agents」，属于非破坏性的增量更新，但同时改掉了一个可能已写进你运维文档的设置名：
旧名：Configure AI bot policies
新名：AI Crawler and Agent access policies
位置：Dashboard → Security → Settings → 按 Bot traffic 筛选
本次更新的核心是把「Agent」这一类从整类开关细化到单个 Personal Agent——Personal Agent 指以个人名义、按请求实时取信息或浏览页面的软件，区别于为后续回答而采集索引的搜索爬虫，也区别于为训练模型而采集内容的训练爬虫。
关键条款
| 行为类别 | Cloudflare 定义 | 典型爬虫 |
|---|---|---|
| Search | 采集或索引内容，用于回答后续问题 | OAI-SearchBot、Claude-SearchBot、PerplexityBot |
| Agent | 以个人名义实时执行的自动化活动，含聊取抓取器与浏览器型代理 | ChatGPT-User、Claude-User、Perplexity-User，以及 Personal Agents |
| Training | 采集内容用于训练或微调模型，含 Search+Training 混合用途爬虫 | GPTBot、ClaudeBot、CCBot、Bytespider |
每条策略同时作用于属于该行为的已验证机器人与匹配特征的未验证机器人。
| 动作 | 生效范围 | 说明 |
|---|---|---|
| Allow（do not block） | 三类均可 | 不阻断匹配请求 |
| Block | 三类均可 | 在整区阻断匹配请求 |
| Block on pages with ads | 三类均可 | 仅在 Cloudflare 检测到广告的页面阻断 |
| Disallow | 仅 Training | 通过 robots.txt 告知；官方文档明确"robots.txt directives are voluntary. Crawlers can ignore them." |
开启 Bot Preference Sync 时，Disallow 会同时在该区域边缘阻断 AI 训练爬虫；但 Search+Training 混合用途爬虫被排除在这层边缘阻断之外——这是配置里最容易踩空的一处。
新域名：Search、Agents、Training 三项默认均为 Allow；
Personal Agents 默认继承 Agents 策略，修改 Agents 策略会重写每一个子代理的既有选择，之后可再单独调整；
Cloudflare 官方建议对 Personal Agents 使用 Allow，理由是保留访客用代理查答案、比价的入口。
Security Analytics 的 Bot Analysis 新增 Personal Assistants 分类（与 Verified Bot、Likely Human、Likely Automated、Automated 并列），可单独隔离个人代理流量；
Top Statistics 增加 Personal Assistants 组件，列出访问本站的代理名称与请求计数，按单个代理筛选后可看其请求路径、状态码、来源网络；
Account Abuse Protection（早期访问，2026-10-02 推出）提供账户级视图：可判断登录/注册是否由某个代理发起，若判定账号被滥用，可针对该账号的 Hashed User ID 下发 WAF 规则，而非对全体用户封掉这个代理。
对品牌与站长的实操含义
一处写规则不够，要三处一致。robots.txt 表达训练意图（自愿遵守），Cloudflare 面板执行实际阻断，日志/脚本从外部验证结果。三者不一致时，最典型症状是"策略只写了一半"。
只 Disallow GPTBot 影响不到 ChatGPT-User。用户触发的抓取器（ChatGPT-User、Perplexity-User）按其厂商文档不把通用爬虫规则当作约束，必须在边缘的 Agents 策略里决定。Perplexity-User 同此逻辑。
想"只停训练、保搜索"，就用 Disallow，不要用 Block。Block 会连混合用途爬虫一起停，Googlebot、Applebot、Bingbot 属于混合用途，选错等于把搜索引擎一起关在门外。
改之前先量基线。记录改动前的请求量、状态码、时延、源站负载，再按代表性页面（首页、带广告的文章页、产品页、结算与 API 路径）分别设定策略，别让公开营销页上的合理规则误伤登录与交易路径。
给每条例外写一句理由。代理生态变动频繁，没有记录理由的例外在下次评审时无从判断。
待解问题
Cloudflare 自己指出的下一个缺口是「代理身份不等于用户上下文」：识别出是哪个代理，并不等于知道它背后的人是老客户、被授权做了什么、是否适用订阅、出问题该追责给谁。官方计划推进带隐私保护的上下文传递机制，目前尚未落地（版本与时间表未披露）。
原文出处
原文标题（官方）：Granular access controls for the top Personal Agents
官方 changelog：https://developers.cloudflare.com/changelog（2026-11-04 条目）
官方文档：AI Crawler and Agent access policies — https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots
参考解读：Oday Bakkour《Daily SEO Note — November 5, 2026: Cloudflare Splits Personal Agents From AI Crawlers》2026-11-05 06:13 — https://oday-bakkour.com/blog/seo-note-november-5-2026
参考解读：Unite.AI《Cloudflare Adds Personal Agent Analytics and Per-Agent Access Controls》2026-11-04 — https://www.unite.ai/cloudflare-adds-personal-agent-analytics-and-per-agent-access-controls
规范/标准号：未披露（Cloudflare 平台配置变更，不涉及标准发布）
发布日期：2026-11-04
生效日：2026-11-04（非破坏性更新，既有配置按规则迁移，无需人工操作）
标签
AIWO、AI可见度、AI搜索优化、AI爬虫、robots.txt、Cloudflare