域名信任会影响抓取吗

接手一个老域名，是出海团队最容易被低估的一次技术债。站上还留着几千条早年从平台批量搬来的 SKU 页，图片挂在旧 CDN，退货政策写的还是已经不用的公司主体。robots.txt 全放行，WAF 也没拦，Search Console 里没有手动操作记录。技术同事把 CDN 日志导出来，看到的却是另一回事：AI 检索类爬虫一周来不了几次，抓的多是那批旧采集页，主力商品页几乎没被碰过。

域名信任不是一个能查到的分数，而是三件可验证的事：有没有处罚、低质历史占多少、站外是否指向同一个主体。它不决定 AI 能不能进来，决定它愿不愿意多来、抓完敢不敢引用。

先分开三层：抓得到、抓多少、信不信

把域名信任当成抓取的开关，是这类判断最常见的错位。抓取至少分三层，每层的决定因素完全不同，混在一起谈就只有情绪，没有动作。

层	由什么决定	低质历史的影响	你能改什么
抓得到	robots.txt、WAF、渲染方式、状态码	几乎没有	放行、服务端渲染、修 404
抓多少	抓取优先级、站点结构、内容新鲜度	最直接	删薄页、收敛参数页、真实的 lastmod
信不信	答案单元、证据、实体、第三方语料	间接	内容与站外两条线，不在本篇范围

大多数团队把域名信任当成第一层的问题，其实它落在第二层。 所以清理旧页面的收益，往往比再写十篇新文章更快出现在日志里：前者改变的是爬虫把请求花在哪，后者改变的是被抓到之后能不能被摘出来。

第三层的“信”是另一回事：模型愿不愿意引用你，看这一页有没有可摘的准确事实、有没有可核对的来源。域名历史只决定你有没有机会被读到。

四个信号，只有两个能直接查

“信任”这个词最容易引出玄学。把它落到可核对的证据上，只剩四个信号。

信号	怎么查	判断标准（经验值）
手动操作与安全问题	Search Console 的手动操作、安全问题报告	有记录就是硬伤，先处理再谈优化
薄页与重复占比	抽 200 个 URL，看唯一正文、参数页与商品页的比例、软 404 数量	唯一正文过半，参数页不超过商品页三倍
站外是否指向同一主体	品牌名、公司主体、地址、退货政策在官网、商店页、媒体、评测里是否一致	四处说法一致，没有互相矛盾的主体
外链结构是否异常	新域名突增、锚文本高度单一、来源站互链	有集中异常先排查，不要先买更多

前两个是平台直接给的，后两个要自己算。第三方工具给的 DA、DR 不是域名信任：它是外链规模的一个估算，Google 也多次公开表示没有站点级权威分。它可以当参考，不能当验收。

反例很常见：一个团队看到 DR 掉了几个点，立刻补买一批链接，三个月后进了链接作弊的手动操作。真正该看的是同一时期的日志——爬虫对商品页的请求有没有减少、落在哪些模板上、403 和 404 各占多少。

低质为什么会变成“抓得少”

抓取请求是有限资源。爬虫每次来都在算一笔账：这一趟能带回多少还没见过、或者确实变了的内容。你的站点在这个比值上越低，被回访的理由就越少。 这不是惩罚，是排序。

三个具体的漏损点：

第一，重复。几千条采集页与现有商品高度重复，爬虫抓到的“新东西”接近零，却要消耗同样的请求。它下次自然来得更少，而那批请求本来该留给主力 SKU。

第二，空手而归。软 404、空筛选页、永远“加载中”的模板，每次返回都是 200，正文却是空的。抓取失败不会报错，只会让这个站点在回报率上继续往下掉。

第三，入口错位。链接结构把爬虫引到参数组合，而不是商品页。抓取量看着不低，有效页面却没几个，见给 AI 看的导航。

处罚是另一条路径。手动操作的直接后果是收录与排名，抓取下降通常是结果而不是原因：页面不再进索引，爬虫就没有理由频繁回访。

清理与恢复：先止血，再删，再补

清理不是把难看的旧内容删掉，而是把爬虫的请求重新分配到能产生引用的页面上。 顺序错了，删得越多越糟。

步骤	做什么	谁来做	怎么算过
1 取证	导出 90 天日志，按 UA 与路径看请求分布	工程	拿到前十个路径，以及主力商品页占比
2 止血	停掉批量生成脚本与自动组合页，对高频路径限速	内容与工程	一周内不再新增同类 URL
3 判定	每个旧页三选一：重写保留、合并到现有商品、410 删除	内容	有替代页的合并，没替代页的才删
4 收敛	参数页 noindex、修软 404、sitemap 只留可索引页	工程	sitemap 与索引量的差距收敛
5 复测	同一批路径，看 30 天与 60 天的请求变化	增长	商品模板覆盖率上升，旧路径下降

两个细节最常做错。别一次删几万页：分批，按外链与订单价值排序，删之前确认没有外部链接指向它。别把旧页全站 301 到首页：这是软 404 的典型写法，等于告诉爬虫这些页面本来就不存在。

抓取优先级怎么分配，见抓取预算不是 Google 的专利；清理有没有效，用一次完整的 AI 抓取审计的取证方法复测，不要用厂商报表。

示例：一个老域名的清理顺序

示例：假设一家做家居收纳的独立站（虚拟场景，不含真实品牌与数据），半年前接手一个 2019 年注册的域名，站上留着上万条早期批量生成的 SKU 页，退货政策还写着旧公司主体。三步走：

先停掉生成脚本，参数页统一 noindex，软 404 改成 410 或补齐内容；再按外链与订单排序，把旧页分成合并、重写、删除三批，每批不超过两千条，批与批之间隔两周；最后才补新内容，只对已经有抓取的商品模板重写答案单元。

验收不看订单，看三件事：主力商品模板的抓取覆盖率有没有上升、被请求 URL 里唯一正文的比例有没有上升、同一批买家问题里引用来源有没有出现自己的域名。前两件通常先动，第三件最后动；第三件没动之前，不要加预算。

边界：这套判断什么时候不成立

第一，新域名没有历史包袱。清理是空转，先把可抓取、渲染和答案单元做好。

第二，成交集中在平台内。亚马逊、Shopee 的 AI 读的是 listing、评论与履约指标，域名历史与你的抓取优先级几乎无关。

第三，正在申诉处罚。按官方流程处理，期间不要同时大改站点结构，否则分不清是哪一步起了作用。

第四，域名本身要弃用。品牌换名、旧站停运时，迁移与 301 计划优先于清理，历史页面的价值随迁移转移。

第五，把信任当成买外链的理由。链接数量不是抓取频率的开关；一致的主体信息与可核对的证据才是能复用的资产。这条线上其他文章在权威与站外主题页。

这个月，先做一件事：从 sitemap 里导出最旧的 500 个 URL，逐个打三个勾——有没有唯一正文、有没有外部链接、近 90 天有没有被抓取。三格全空的，先合并或 410，再谈下一批内容。