GEO-014·第 02 期·技术底座·14 / 132
robots.txt 放行 AI 爬虫，还是屏蔽？
把 AI 爬虫全禁掉，往往连答案入口一起关掉。本文按引流、交易、专有三层内容拆开放行逻辑，说明哪类爬虫该放、哪类路径该拒，给出一份可落地的 robots.txt 分组写法、五步落地表，以及误屏蔽之后恢复变慢的原因。
本期主线先被看见：抓取、渲染与 AI 爬虫可访问性
二月的第一周，一家做户外储能电源的出海品牌开了个三方会。法务说竞品在照抄他们的安装指南，运营说 Perplexity 上周回答“露营用哪款储能电源”时已经不提他们，技术说上月为挡采集，robots.txt 加了一行 User-agent: * 加 Disallow: /，只在下面单独放行了 Googlebot。三个人的诉求都成立，讨论却卡在同一句话上：到底该放谁进来。
放行还是屏蔽 AI 爬虫不是道德题，是商业题：先按内容分三层，再决定哪类爬虫能碰到哪一层，最后把理由写进规则里。
先分层，再决定放不放
多数团队争论的是“AI 爬虫该不该放”，真正该先回答的是“哪一类页面需要谁进来”。同一份 robots.txt 对不同 URL 的后果完全不同，按内容分三层，争议会立刻缩小。
| 内容层 | 典型页面 | 放谁进来 | 判断依据 |
|---|---|---|---|
| 引流资产 | 商品页、类目页、对比页、选购指南 | 检索类全放，训练类按品牌策略 | 这是答案的原料，挡住等于把提问让给竞品 |
| 交易与实时数据 | 价格接口、库存、会员价、优惠券 | 都不放，改用 feed 或授权链接 | 高频轮询拖慢源站，且价格进答案后必须与结算一致 |
| 专有资产 | 原创安装手册、内部培训、未公开素材 | 训练类可收口，检索类视情况 | 收口有明确收益，也有明确代价：答案里解释不清 |
这张表最重要的作用是打破“全站禁止”的冲动。反例很常见：User-agent: * 下写 Disallow: /，再单独给 Googlebot 开一组放行。Google 的收录没掉，检索类爬虫却被一起挡在门外——它们没被点名，就落进了 * 组。规则是“最具体优先”，不是“多组合并”，这点在AI 爬虫地图里已经拆过。
三笔账：放行赚什么，屏蔽省什么
放行的收益是持续的，屏蔽的收益往往是一次性的，这是这类决策里最容易被忽略的不对称。
- 收益：每次提问都是一次被引用、被比较、被推荐的机会。它不会立刻变成订单，但会进入买家的问题链。
- 成本：带宽、内容被复制、竞品研究你。前两项能用缓存、限速、WAF 解决，不必靠 robots.txt 一刀切；第三项是竞争常态，挡不住。
- 不可逆成本：已经进过语料或索引的内容收不回来；引用池里的位置一旦被替换，回去要靠复测和时间。
所以默认策略应该是：检索类放行，训练类单独讨论，交易数据走接口不走抓取。 把“防采集”和“防引用”分开，是这份规则能长期活下来的前提。
写法：分组优先，别用全站通配兜底
写 robots.txt 的难点不在语法，在分组。按用途分三组，比按公司名分一堆组更好维护。
| 组 | 成员（以官方文档为准，截至 2026-02） | 写法 | 目的 |
|---|---|---|---|
| 检索类（含用户代取） | OAI-SearchBot、PerplexityBot、ChatGPT-User、Claude-User | Allow 公开内容页 | 保住被引用与被推荐的入口 |
| 训练类 | GPTBot、ClaudeBot、CCBot | 按内容层 Allow 或 Disallow | 训练语料是可选项，可以谈条件 |
| 用途控制 | Google-Extended | 单独一组声明 | 不控制抓取，只控制内容能否用于 Gemini 的训练与 grounding |
第三条最容易被误读成“屏蔽 Google”。它不影响搜索收录，写与不写，要按品牌对训练用途的态度决定，而不是按抓取量决定。* 组只做兜底：拦住 /search、/filter、/cart、/api/ 这类没有引用价值的路径，不要把公开内容页放进去。
五步落地
规则写完不算完，要能被验证。下面五步每一步都有交付物。
| 步骤 | 做什么 | 谁来做 | 怎么算过 |
|---|---|---|---|
| 1 列 URL | 按三层内容各挑 10 个 URL，标出哪些是答案原料 | 运营 | 覆盖商品、类目、政策、接口四类 |
| 2 定策略 | 每个 UA 做放行、限速、拒绝三选一，写一句理由 | 增长与法务 | 没有“因为别人都禁”这类理由 |
| 3 写规则 | 分三组落盘，每条上方留注释 | 工程 | 注释能解释这条规则在保护什么 |
| 4 验身份 | 用各家 UA 与官方 IP 段核对，抓 200 与 403 的落点 | 工程 | 403 只出现在预期路径 |
| 5 看效果 | 同一批问题复测引用来源，对照日志 | 增长 | 能说清“变了没有”和“为什么变” |
第 5 步最容易停在“日志里有请求”就算成功。抓取量只证明它来过，证明不了它用了。要判断放行有没有换来引用，得回到问题层面复测，做法见AI 可见度基线：日志回答“来没来”，复测回答“用没用”。
示例：把“全站禁止”改成三层规则
示例（假设场景，不含真实品牌与流量数据）：某骑行配件品牌有三百多个 SKU 页、一批筛选页、一个实时库存接口，还有一份原创的安装手册 PDF。原规则两行：User-agent: * 下 Disallow: /，另加一组 Googlebot 放行。
改法分三组：检索类放行商品页、类目页与指南；训练类放行公开内容页，拒绝手册下载目录；所有爬虫拒绝 /search、/filter、/cart、/api/。库存接口另行处理：只对合作方签发限时链接，匿名高频请求在 WAF 层限速。
关键在于：改回 robots.txt 不等于恢复。抓取有节奏，索引与缓存有延迟，引用池里的位置可能已经被别人占了。恢复期间不要每天改规则，先固定一版，用同一批问题连续复测两周。这也是“先放行、后收口”比“先全禁、再逐个开”更便宜的原因：前者是加法，后者要在损失发生之后再补。
边界：什么时候该保守
第一，成交集中在平台内。亚马逊、Shopee 的 AI 读 listing 与评论，robots.txt 与你关系不大，先把 feed 和评论修好。
第二，内容本身就是产品。付费报告、课程、独家图纸被完整抓走就是收入损失，这时收口训练类甚至检索类都合理，但要接受在答案里缺席。
第三，被恶意抓取打到源站不稳。robots.txt 对不守规矩的爬虫没有约束力，先上 WAF 与限速，规则只是声明。
第四，强合规或强法务流程的团队。规则要书面化、留审批记录，不能这周禁、下周放；频繁变更本身会让日志失去对照价值。
第五，连“有没有被误屏蔽”都还不确定的团队。先做一次完整审计，把允许、到达、渲染、解析、索引逐层排一遍，再谈策略。审计怎么排，见一次完整的 AI 抓取审计；这条线上其他文章在技术底座主题页。放行只解决“进得来”，答案里写什么，是AI 答案里的商品长什么样要解决的问题。
别贪多，这个月只做一件事：把 robots.txt 按引流、交易、专有三层重写一遍，每条规则上方写一行理由注释，然后用同一个问题在 ChatGPT 和 Perplexity 各问一次，记下引用来源，作为下个月的对照。