对比页 A/B：怎么判断 AI 真的改了答案

六月上旬，一家做宠物饮水机的出海团队把对比页首屏那张 PNG 换成了 HTML 表格：行是三个竞品型号，列是容量、噪音、滤芯更换周期。上线第三天，运营在 ChatGPT 里问“多猫家庭用哪种饮水机”，答案里出现了他们的品牌，还带了对比页链接。截图发进群里，改版被宣布成功。两周后，同样的问题换成英文、换一个新账号，品牌又不见了。

AI 答案在重复提问下会波动，一张截图只能证明“这一次被抽到”；判断对比页改版是否有效，要靠固定 prompt、重复采样、单变量对照，以及开跑前写死的判定线。

为什么一张截图会骗你

先接受一件事：AI 答案不是一个稳定页面，而是一次采样结果。同一条提问，换个账号、换个地区、隔一天再问，措辞、顺序、候选名单都可能不一样。原因有三层。

检索层，问题会被改写。你说“多猫家庭用哪种”，模型可能拆成容量、噪音、滤芯成本、清洗难度几个子问题，再去取候选页面；索引新鲜度、站点语言、所在地区都会改变取到谁。

生成层，同一次检索也能生成不同措辞。有的引擎先检索再拼答案，有的更依赖参数记忆；即便同一引擎，同一问题连问五次，也不保证复述同一句。

传导层，新版本要先被抓取、进索引，才可能进入检索候选。改完第二天就看到“效果”，多数时候是旧版本还在被引用，或者只是这次抽样站到了你这边。

把“这次被提到了”当成“改版有效”，是把随机性记成了功劳。更糟的是，它会训练团队去追只在截图里存在的成绩：为了挤进某一条答案，把页面改得越来越像竞品，最后丢掉可比较的差异。对挑战者来说，那正是唯一的入口，挑战者品牌的机会就在差异本身。

对比页的效果分三层

一次改版不会只动一个数字。至少三层，要分开测。

层次	看什么	拿来做什么
引用	答案是否给出对比页链接或品牌作为来源	诊断内容有没有被取到
入选	答案的候选名单里有没有你	决策，离成交最近
表述	参数、价格、适用场景复述得对不对	纠错，错误比缺席更伤

三层是漏斗，不是替代。引用多、入选少，说明你被当成资料而不是选项；入选多、表述错，等于替竞品做了背书。

所以主指标选入选率，引用率只做诊断。只盯引用率，很容易把“被引用但不被推荐”记成胜利。一个常见反例：对比页为了显得公平，把“不适合谁”整段删掉，引用率上去了，答案里却开始出现“该品牌没有说明适用边界”，入选率反而掉。

入选怎么发生，先看本期主线AI 的候选集只有 3–5 个名字，怎么进去；这一篇只回答怎么验证你有没有挤进去。

五步实验，一次只动一个变量

对比页 A/B 和网页 A/B 最大的区别：你的“转化”发生在别人的模型里，控制权只有一半。能控制的那一半，必须控制死。

步骤	做什么	谁来做	怎么算过
1 写假设	一句可证伪的话：改什么、预期哪一层变化	内容 + 增长	只有页面、改动、指标三个要素
2 定 prompt	从站内搜索词、客服记录里取 20–30 条真实问法，固定语言与地区	增长	每条能指回一条真实提问
3 采基线	改版前，每条在每引擎重复 5 次（示例）	增长	留下日期、账号、地区、模型名
4 控暴露	确认新版本被抓取、进索引后再开测，期间不动价格与标题	技术 + 内容	日志里有新版本请求
5 配对比较	同一 prompt 前后比，数改善、恶化、无变化	增长	结论能列出具体哪几条变了

第 4 步最常被跳过。没确认被抓取就开测，测的是旧页面，结论却算在新页面上。对比页尤其容易翻车：表格如果还是图片，改版只是换了张图，机器读到的内容一个字都没变。这属于对比表的机器可读写法要解决的问题，别指望 A/B 帮你发现。

第 5 步要按 prompt 配对，不要比总数。24 条里 3 条改善、2 条恶化，和 12 条改善、1 条恶化，是完全不同的两件事；前者大概率是噪声。改版本身怎么改，取决于对比页缺什么，对比页的结构里有判断标准。

判定标准要在开跑前写死

先定什么算赢，再看数据。顺序反了，任何波动都能被解释成成功。

主指标是入选率：被列入候选的 prompt 数除以总 prompt 数。次指标是表述正确率，引用率只做参考。

判定线可以这样定（示例口径，按自己的基线调）：24 条 prompt，每条重复 5 次；入选改善不少于 4 条，恶化不多于 1 条，两周后复测方向一致，才算通过。

稳定性比幅度重要。只出现一次、随后回落，记为未通过。别用增加采样次数去“凑显著”，24 条里只有 1 条变化，说明改动太小，或者 prompt 集没覆盖到这个问题。

也不要用平台给的“平均排名”当主指标：口径不透明，你复现不了。

示例：一次两周的对比页实验

以下品牌与数字均为虚构，只演示判定过程。

一家做宠物饮水机的团队，基线选 24 条英文 prompt，覆盖多猫家庭、租房小户型、出差一周三个场景，每条在三个引擎各问 5 次，共 360 次采样。结果：入选 6/24，引用 4/24，参数复述错误 5 处。

改动只有一个：PNG 换 HTML，列标题写死单位，缺失值写成“未提供”，加一列“不适合谁”。价格、标题、内链全不动。

两周后复测：入选 11/24，改善 6 条、恶化 1 条；参数错误从 5 处降到 1 处；引用只从 4/24 到 5/24。判定：入选改善超过预设线，保留改版。

复盘看两件事。引用几乎没动，入选却明显上升，说明对比页在答案里更多被当作判断依据，而不是来源链接，只盯引用会误杀这次改版。唯一恶化的是“出差一周”，答案开始推荐大容量水箱的竞品——这不是对比页的问题，是该场景缺一页内容。下一轮补场景页，别再改对比表。

边界：这些情况不要做这个 A/B

第一，采样预算不够。AI 引荐一个月只有几十次，凑不出可比较的分布，先做基线记录，不做判定。

第二，平台内 AI。平台没有给你控制 AI 答案的对照入口，能做的只有前后对比加 listing 变量记录；这不叫 A/B，结论要打折。

第三，答案里根本没有你。先修实体与站外证据，改对比页不会让你凭空出现。

第四，同时动多个变量。价格、促销、库存、标题一起改，结果无法归因，要么推迟，要么只记录不判定。

第五，强个性化入口。答案按账号历史变化，控制不住，结论只能当方向，不能当因果。

第六，比较广告的合规。对比页写竞品名与参数，受各地规则约束；不要为了被引用编竞品缺点。

这个月，先做一件事：挑一个已有对比页的 SKU，把改版假设写成一句可证伪的话，用 20 条真实 prompt 各采 5 次做基线，并确认新版本已经被抓取。没有基线就不要改版——否则你分不清是页面对了，还是这次抽样站到了你这边。这一层的度量方法，汇总在度量与增长。