增量实验：GEO 的 A/B 测试怎么做

十月的预算会上，一家做宠物饮水机的出海团队把 AI 引荐报表投到屏幕上：曲线一路向上，订单也涨了。CFO 只问了一句：如果这三个月我们没做 GEO，这些订单会少多少？没人答得上来——同期他们改了六十多个商品页、换了一版对比表、加了大促投放，三件事挤在同一个窗口里。

GEO 做不出干净的站内 A/B：答案由别人的模型生成，你没法把一半买家随机分到“看不到 AI 答案”的组里；要证明增量，只能用地理拆分、时间序列、holdout 和重复采样，把一个可测量的“没有 GEO 会怎样”写出来。

为什么分流权不在你手里

网页 A/B 的前提是同一个 URL 对两组人给出两个版本，随机分配。GEO 的改动做不到这一点：模型抓的是线上那一版，你没法让同一个索引同时收录新旧两版，也没法让一半买家搜到旧版。

更麻烦的是曝光发生在模型侧。买家看到答案时还没进你的站，你的埋点里连“他来过”都没有，更不用说把“看了 AI 答案但没点”的人分进对照组。

第三是样本。AI 引荐在一个市场一个月可能只有几十单，随机分到两组各十几单，任何一次大促、一次算法波动都能盖过真实差异。第四是溢出：改一版对比页，可能通过品牌搜索、复购、站外讨论在几个月后才回到报表，而这些往往掉进 Direct，AI 引荐本来就算不进渠道。入口又早已分成四段，AI 搜索把流量切成了四个入口，混在一起测，测出来的只是一个平均数。

四种设计，按分流单位选

不要问“用什么工具做 A/B”，先问“我能把什么随机化”。能随机化的单位只有三种：市场、时间、页面组；第四种不是设计，是让前三种不白跑的采样纪律。

设计	分流单位	回答的问题	代价
地理拆分	市场或国家	这批改动在这个市场带来多少增量订单	市场差异大，必须先配对
时间序列	时间窗 + 对照序列	上线后是否出现结构性抬升	大促与季节会污染
holdout	页面组或品类	没改的那部分是不是真的更差	要长期忍住不去改它
重复采样	同一条提问	这次变化是噪声还是信号	只降测量误差，不解决因果

地理拆分的要点不是“随便挑两个国家”，而是先看前八到十二周两条曲线的走势是否平行。不平行，就说明这个配对不成立，换市场，别硬算。

时间序列只做前后对比，几乎一定会高估：旺季、投放、上新都在同一段。至少加一条没有改动的对照市场曲线，让它替你把季节背走。

holdout 是长期成本最低的一种。把一部分页面或品类明确划出 GEO 改造范围，保留一年，你就有了一条持续存在的反事实线——代价是看着它们落后却不能动。

重复采样不产生因果，但没有它前三种都会失真。同一条提问隔天再问，措辞和候选名单都会变，单次采样相当于抛一次硬币。

样本量：先算你能测出多大的变化

开跑前先回答两个数：基线每周有多少 AI 引荐订单，你希望检出的最小变化是多少。示例：某市场每周 AI 引荐订单约三十单，跑四周合计一百二十单左右，这个量级大致只够看出两三成的变化，个位数百分比的提升测不出来。

主指标要选订单或毛利，不要选会话——会话涨了、单没涨，是这一年最常见的假胜利。过程指标（引用率、入选率）作为领先信号可以提前看方向，怎么定义见AI 可见度的四层指标，但它不能替代收入层的判定。

还有一条纪律：不要边看边加样本，直到某个数变好看为止。判定线在开跑前写死，跑完照着念。

五步：一次能落地的增量实验

步骤	做什么	谁来做	怎么算过
1 写反事实	一句话写清：没有这批改动，哪个市场、哪段时间、哪类订单会少多少	增长负责人	这句话能被财务原样复述
2 配对或留白	两个规模相近的市场配对，或按品类留出一部分页面不改造	增长 + 技术	前八周两条基线曲线平行
3 锁变量	窗口内价格、促销、投放、上新不动；改动只归入一个变量组	运营	周会纪要有冻结清单
4 定判定线	主指标、最小可检出变化、观察期、继续与停止条件写在一页纸上	增长 + 财务	开跑前双方签字
5 解释与决策	方向、幅度、过程指标、复测方向四项一致才算通过	增长	报告能直接回答继续投、停、还是再等一轮

第 2 步和第 3 步最容易让步。销售要上新、投放要加预算、运营要大促，每一个都合理地要求“这次例外”，例外一多，实验就退化成了记录。宁可缩短窗口，也别打破冻结。

示例：一次双市场 holdout

以下品牌与数字均为虚构，只演示判定过程。

一个做宠物饮水机的团队选了两个体量相近的欧洲市场。A 市场改造四十个商品页与对比页；B 市场同期一页不改，只做日常维护，站外投放也保持原样。窗口十二周，两侧价格与促销同步，A 的改动一次性上线，不做分批。

八周后，A 的 AI 引荐订单从每周十八单到二十七单，B 从十六到十九；过程指标上 A 的入选率从 3/24 到 7/24，B 没动。方向一致，但扣掉 B 的自然增长，净增量约每周六单，没有达到开跑前写下的每周八单，且区间很宽。

判定：方向成立，幅度未确认。动作是再跑八周、不动 B、不加投，同时把 A 里被引用最多的三个页面拆出来单独记录，看下轮能不能把改动收窄到可解释的单位。如果当时看到“涨了一半”就全欧铺开，对照组那三单的自然增长也会被算进战果。

改动本身怎么改，多半还是答案单元那一层的事；实验只负责判断这批改动值不值得复制，不负责告诉你哪一句写得好。

边界：这些情况别做增量实验

订单量太少。 单市场月订单个位数时，任何统计都只是在描述噪声。此时改为过程指标加定性证据，并在报告里明说“这不是因果结论”。

平台内 AI。 平台不给你划分对照组的入口，能做的是记录 listing 变量与前后走势，结论只能打折使用。

旺季与大促窗口。 需求曲线本身在跳，实验会被季节吞掉。要么避开，要么只记录、不判定。

多变量打包。 一次改四十个页面，只能得到“这批改动整体有没有用”，拆不到单页。想拆就分批上，代价是周期变长。

把因果当论文写。 决策层要的是继续投、停、还是加码，不是显著性。一个方向一致、幅度温和的结果，配上清晰的过程指标，通常已经够用。

最后是隐私：不要用指纹或跨站 ID 去“补齐”分流，那会让一次干净的实验变成一次合规风险。

这个月先做一件事：在你正在改的那批页面里，挑一个体量中等的市场先按住不动，改动集中到另一个市场；开跑前用一页纸写下主指标、最小可检出变化和判定线，八周后把两条曲线并排放在一张图上。这一线的其他方法，汇总在度量与增长主题页。