AI 答案监测工具：自建、采购与校验

十月的采购演示上，一家做宠物饮水机的深圳团队看到一块仪表盘：覆盖十一个模型、每天采样两千次、品牌提及率 38%。年费签完三个月，运营想复核某条答案为什么涨，才发现后台只有分数：原始回答导不出来，时间戳按周汇总，供应商说“模型侧有波动”。预算会上，没人能解释这条曲线。

监测工具的价值不在覆盖多少模型，而在采样能不能复述、原文能不能导出、判定规则能不能复算；这三件事缺一件，仪表盘上的数字就只能当噪声。

为什么“覆盖十一个模型”不是选型标准

AI 答案不是固定对象。同一句话，隔一天、换地区、换账号、模型小版本更新，答案就会变。工具卖给你的是一个样本估计，不是一次测量。既然是估计，就必须说清样本怎么抽的：问题集是哪个版本、模型是哪个标识、地区与语言、每条问几次、什么时间窗。这些参数不写下来，两个月的曲线就不是趋势，是两个不同实验的结果。

供应商爱讲覆盖，是因为好演示。覆盖数量能写进 PPT，可复现性没法在一小时的演示里证明。采购表上填的是模型数、采样量、告警渠道；真正决定数据能不能用的，是能不能把一条记录还原出来——原始答案、引用列表、时间戳、模型标识、prompt 编号。

还有一层是判定。什么叫“提及”？子品牌名算不算？“不推荐 A，夜里水泵声明显”算不算？页脚列了你的链接、正文没用到你，算不算引用？三个问题答案不同，同一批原始数据能算出三个百分比。规则不公开，你买的就不是数据，是结论。

反例：把“提及次数”接进周报的团队。数字每周涨，团队每周开会，半年后回头看，候选名单没变、推荐理由没变、成交没动。提及是最容易被噪声推高的一层，改一张别名表就能让它跳几个点。

五个维度与一条否决线

维度	要问供应商的问题	通过标准
采样可控	能否指定模型标识、地区、语言、每条重复次数与时间窗；问题集能否版本化	同一份配置交给两个人，跑出可比的两批记录
原文留存	每条记录有没有完整答案、引用 URL、时间戳、模型标识	能按条导出 JSON 或 CSV，不是截图
口径透明	提及、引用、推荐怎么判定；别名、子品牌、否定句怎么处理	规则文档可读，自己能拿原文复算
校验支持	能否人工盲标、记录分歧、报一致率	抽三十条，工具与人工的分歧能逐条定位
数据与合同	原始数据归谁、留存多久、终止后能否取回	退出条款写清导出格式与期限

否决线只有一条：导出不了原始答案的工具，不买。覆盖模型再多，也只是把一个不可复核的分数做大。

自建最小方案：三张表加一个定时任务

只做一个市场、一个引擎、二三十条问题时，自建的边界比采购清楚，成本也更低。需要的东西很少：一张 prompt 表（编号、市场、语言、层级、买家原话）、一张采样配置表（模型标识、地区、语言、重复次数、时间窗）、一张答案表（prompt_id、模型标识、采样时间、地区、完整答案、引用列表、运行状态），加一个定时任务和一个存放原始 JSON 的目录。

步	做什么	谁来做	怎么算过
1 定问题集	20–40 条真实提问，分品类、场景、对比、售后四层	增长 + 内容	每条有编号进版本库，改版另起基线
2 定采样	模型、地区、语言、重复次数、时间窗写进配置文件	技术	换一个人照配置能重跑
3 存原文	答案原样入库，先不解析	技术	随机抽十条能打开原文与引用
4 写规则	别名表、否定句、引用判定写成文档	内容 + 技术	两人独立标三十条，分歧能逐条解释
5 看板	只报比率加绝对量，分引擎分市场	增长	分母写明，与上月同口径

第 3 步最容易被跳过。先解析再入库，等于把规则焊死在数据里；规则一改，历史数据全部作废。原样留存、解析可重跑，是自建相对采购唯一的结构性优势，也是后面复核的唯一退路。

采购还是自建，取决于你要买的是管线还是判断，见自建、代运营还是工具。管线可以买，口径必须自己留。

示例：工具说 58%，人工标出 39%

以下数字为虚构，只用于演示校验怎么做。

A 团队做宠物饮水机，主市场美国。他们选了三十条英文问题，每条隔天问三次，连续四周，共三百六十条答案。工具后台报品牌提及率 58%，运营按同一批 prompt 抽六十条盲标，只有 39% 成立。

差额来自三处。一是别名：品牌名和子系列名被当成两个实体，同一句话命中两次。二是否定句：“不推荐 A，夜里水泵声明显”被关键词命中，记成正面提及。三是引用：工具把页脚来源都算引用，正文里没有一句对得上。第三条最伤，它决定 AI 到底有没有用你的话，而那句话本该是一句答案单元。

修完规则后复算 41%，与人工标注差两个点。他们同时把分母从“全部记录”改成“有效答案”，排除报错、拒答与空回答，趋势才稳住。这次修正没换工具，只是把规则写了下来。

校验与偏差：先量工具，再量品牌

偏差	长什么样	怎么测
采样偏差	今天问和下周问，答案不同	同配置同日重跑两次，看差异
判定偏差	否定句算提及、别名漏计	三十条盲标，算一致率
分母偏差	排除报错后比率跳变	绝对量与比率并排报
模型漂移	供应商换了模型版本，曲线断	记录模型标识，换版本另开基线
供应商偏差	只给分不给原文	用否决线直接排除

顺序不能反：先证明工具在你这批问题上可复现，再谈它报的品牌变化。多数团队反着做，先看曲线，再找原因，最后把噪声解释成策略效果。

一致率的算法要写死：两人独立标同一批，分母是样本数，分歧按类型归类，不按“谁对”争论。分歧集中在哪里，就先修哪条规则。量具本身的误差，和品牌表现的误差同等重要；四层指标各自的口径，见AI 可见度的四层指标。

边界：这三类团队先别买

第一，月度提问量只有个位数。样本太小，比率每周都在抖，先做定性记录，别急着签年费。

第二，品牌实体还不存在。名称在各处对不上，采样全是零，先做品牌实体是否存在，工具只会把零放大。

第三，平台内 AI 是主战场。平台里的答案随账号、地区、会话变化，同一批问题没法自由复现，这套采样不适用；能对比的只有 listing、评论与履约指标。

还有两条常被忽略：工具不能证明因果，增量要靠实验；自动化调用要先读服务条款，别用绕开限制的方式采集。监测只能告诉你答案在变，不能告诉你为什么变，更不能保证它下次还这么说。

这个月先做一件事：挑二十条真实提问，同一天用工具和人工各跑一遍，把原始答案导出来，算一次一致率。分歧超过两成，先修别名表、否定句和引用判定，修完再谈续费。这条线归技术底座。