抓取预算不是 Google 的专利：AI 爬虫的预算逻辑

一家做家居收纳的出海独立站，后台有个一直没人算过的比例：筛选页与变体页加起来是商品页的七倍。运营把它们当成流量入口，理由是从 Google 偶尔能拿到访问。做了一次抓取分析才发现，AI 检索类爬虫的请求大多落在这批参数组合上，主力 SKU 页只占很小一部分。同一时期客服开始被反复问同一个问题：带轮子的那款储物箱能不能进电梯。买家在 AI 里问过，答案里没有他们的尺寸表。

抓取预算不是 Google 的专利：AI 爬虫同样按自己的规则分配注意力，站点越大，越是你不管它就替你排，而它排出来的顺序通常不是你要卖的那批货。

预算不是配额，是排序

把 crawl budget 理解成“每天能抓多少页”的配额，是从 Google 文档里搬来的误解。Google 的抓取预算由抓取速率上限和抓取需求两部分构成，那套口径是为搜索收录写的。AI 检索类爬虫的动机不同：它常常是为了回答一个具体提问，去取一页。没有人在等 Google 收录，但有人在等 AI 回答，这个差别推出三件事。

第一，超时的代价不对称。收录慢一天没人察觉，检索慢一秒这一页就赶不上这次答案。

第二，深度比数量更要紧。它不会按你的站点地图从头走一遍，而是从被引用、被链接、被提问的入口往里走；三跳之外的页面，实际上等于不存在。

第三，重复内容是一种税。同一件商品的十个变体和三十个筛选组合，会占掉本该给主力页的注意力，而它们提供的信息量是零。

这三条合起来说明：你真正在管的是“它先抓谁”，不是“它抓多少”。谁能进来的分辨工作见AI 爬虫地图，那里解决“来不来”，这里解决“先来哪”。

影响抓取频率的四个因素

四个因素里只有速度能在一个迭代内改完，所以它应该排第一；链接结构是设计问题，新鲜度是纪律问题。

因素	它怎么起作用	你能改什么	怎么验证
响应速度	为一次提问取页，慢就等于这一页没赶上答案	上缓存、去掉阻塞脚本、把 TTFB 压稳	按模板看 P75 响应时间与 5xx 占比
新鲜度	价格、库存、评测类问题偏好近期变化	让价格库存真的更新，内容改版才动 lastmod	抽样比对 lastmod 与改动记录
链接结构	从入口三跳内、被内链反复引用的页面更常被回访	类目页给主力 SKU 稳定入口，清掉孤岛页	按点击深度统计被抓比例
规模与重复	参数、变体、分页把一份内容拆成几十个 URL	收敛参数、合并变体、用 canonical 归并	算被抓 URL 里唯一内容的占比

第一个因素常被当成技术债往后拖，但它是唯一能被单方面改掉的。第二和第四个因素一起决定“注意力被浪费了多少”。第三个因素最容易被低估：很多独立站的主力 SKU 只出现在一个深层类目里，而筛选页从首页就有入口，爬虫自然先走筛选页。

sitemap 与 lastmod 能改的只有“可猜性”

sitemap 不提升优先级，它只降低对方猜的成本；lastmod 一旦造假，比不写更糟。

先说 sitemap。它的公开作用是帮助发现 URL，搜索引擎早已声明 priority 字段不参与判断，所以指望靠它“提权”是白费。分片本身也不改变抓取顺序。它真正的价值在于：当你把主力 SKU、长尾 SKU、内容页放进不同分片，你和爬虫看的是同一张分层图，后面所有的取舍、排查和复测都有了坐标。AI 爬虫读不读 sitemap、读多少，各家没有公开说明，但它是你唯一能主动递交清单的地方，值得做对。

再说 lastmod。每次部署都刷新它，是最常见的自欺：模板变了、静态资源变了，正文没变。对按新鲜度判断的爬虫来说，全站“每天都是新的”等于没有信号。反过来，只有当价格、规格、正文真的改动时才更新，它才是一个可被信任的输入。

这里有个顺序问题：如果站点还被 WAF 挡着、或者核心页面靠 JS 渲染，先做可访问性，一次完整的 AI 抓取审计是前置动作。抓都抓不到的时候，讨论排序没有意义。

五步把 SKU 排出先后

分层的标准必须写死，否则它会退化成“谁的 SKU 谁先上”。A 层不是卖得最好的那批，而是“卖得好且买家会拿它提问”的那批。

步骤	做什么	谁来做	怎么算过
1 分层	按贡献与被提问密度把页面分 A/B/C 三层，不按访问量排	增长 + 商品	A 层不超过 SKU 的 20%，C 层有剔除清单
2 保可达	A 层从首页或一级类目三跳内可达，并单独进一个 sitemap 分片	工程	抽 30 个 A 层 URL，全部三跳内可达
3 剔冗余	筛选页、站内搜索、变体重复 URL 移出抓取面	工程	被抓 URL 中唯一内容占比上升
4 让新鲜可信	价格库存走结构化数据，lastmod 只在内容真改时更新	工程 + 内容	抽 20 页，lastmod 与改动记录对得上
5 复测	按模板统计抓取覆盖率与答案里的引用来源	增长	有前后对比，且能解释差异

第 3 步最容易被做成“全站 noindex”，那是另一个极端。正确做法是让筛选页留在站内可用、但不占抓取面：要么收敛参数，要么用 canonical 归并到类目页。导航与分页怎么设计，可抓取的分类与筛选导航讲得更细，本篇只定优先级。

示例：十万级 SKU 的一次重排

示例：一个假设的家居收纳独立站（不含真实品牌与数据），约十万个 SKU，其中八成是颜色与尺寸变体，另有一批按尺寸和材质组合出来的筛选页。改造前，sitemap 是一个全量文件，每次部署刷新 lastmod；AI 检索类爬虫的请求里，筛选页与变体页占了大头，主力 SKU 页的抓取覆盖率很低。

改法只动了三处：把 sitemap 拆成主力 SKU、长尾 SKU、内容页三个分片；筛选页加 canonical 并退出 sitemap；lastmod 改成跟随价格、规格、正文的实际改动。没有改模板，也没有重写文案。

验收看三件事：主力 SKU 页的抓取覆盖率（按模板统计，口径见抓取覆盖率）、被抓 URL 里唯一内容的比例、同一批买家问题里答案是否引用了尺寸表。三件都拿到才谈扩量。验收故意不看订单——从抓到订单之间还隔着引用、比较和信任，用订单判断这一步只会得出“做了没用”。

边界：这套逻辑什么时候不该用

第一，成交集中在平台内的品类。亚马逊、Shopee 的 AI 读的是 listing、评论与履约指标，你的 sitemap 不在它的输入里，先去修 feed 与评论。

第二，SKU 只有几百个。别做预算工程，全部可达、全部可抓就够了，同样的时间放进答案单元收益更高。

第三，站点根本不可访问。robots 误屏蔽、WAF 拦截、JS 渲染失败，这三种情况先修通，再谈排序。

第四，把“抓得多”当成目标。抓取只是漏斗第一层，抓取量涨了而引用没涨，说明问题在内容与证据，不在预算。

第五，预算决策本质上是商品决策——先推哪批货、哪些长尾可以放弃。它属于战略与市场这条线，不该由 SEO 或工程单方面拍板。

把动作收窄，这个月只做一件事：导出近 30 天已核实身份的 AI 爬虫请求，按页面模板分成主力 SKU、长尾 SKU、筛选页、变体页、内容页五桶，算出每桶的“被抓 URL 数 ÷ 该桶 URL 总数”，挑出覆盖率最低而商业价值最高的那一桶，只做一次收敛——退出 sitemap、加 canonical、补内链，三选一，不叠加。下个月用同一口径复测。