答案质量评分：用 LLM 当裁判之前先定标准

四月，一家做厨房小家电的出海品牌把内容评分交给了模型。同一批答案，两位编辑打 6.2 分，模型打 6.8 分，团队觉得方向对上了。两个月后平均分涨到 8.4，周报上是一条漂亮的上行线。直到有人把同样的问题丢进 ChatGPT 和 Perplexity：那款空气炸锅的功率还是错的，英规插头被写成“欧洲通用”，保修期用的是已经下线的旧政策。分数在涨，答案没变好。

LLM 评委能在一百条答案里筛出可疑的十条，不能给出可考核的绝对分；先把准确性、具体性、引用、时效、品牌契合五项标准写成能判定的档位，分数才有解释力。

分数为什么会自己往上走

评分模型没有你的主数据、政策页和检测报告，只读文字，于是把“写得像真的”当成“是真的”。三个偏好很稳定：结构完整的段落得高分，哪怕内容空；形容词密度高的句子得高分，“高效”“专业”“适合多种场景”在语料里总和好评一起出现；语气笃定得高分，而带限定条件的句子（“在 220–240V 下”）反被读成含糊。

更麻烦的是评分目标会被反向优化。分数一旦进周报和绩效，团队学会的不是把答案写对，而是把扣分点藏起来：删掉“示例”两个字，去掉“以实物为准”，把不确定的表述改成绝对句。分数涨，可核验性降，这是评分体系最典型的失败方式。

重复打分也不稳定。示例：同一批 40 条答案连打三次，均分在 6.9 到 7.6 之间浮动。绝对分因此不可比；能用的只有两样——同一版本下答案之间的排序，以及分数背后的分歧条目。

五项标准，每项都要有证据来源

标准不是形容词清单。每一项都要指向一个能被查的证据；写不出证据来源的维度，最后一定靠语气打分。

标准	要回答的问题	证据在哪	典型失分
准确性	这句话与主数据、政策原文、认证信息是否一致	商品主数据、政策页、检测报告	参数、型号、保修期与后台对不上
具体性	有没有可核对的型号、数值、适用条件	规格表、兼容清单、场景限定	用“高性能”“多场景”顶替事实
引用	每个可验证的说法是否指向来源	官网规格页、第三方评测、认证编号	只引自己，或链接已打不开
时效	价格、库存、政策、型号是否为当前版本	更新日期、政策生效日	旧文换个新日期，内容没动
品牌契合	是否使用统一的品类词与定位	品牌实体表、各市场品类词表	各站点各写一套，AI 拼不出同一个实体

五项不等权。**准确性是闸门，其余四项才计分。**否则一段具体、有引用、很新、很像品牌、却把容量写错的文字会拿到高分——这正是买家退货的原因。品牌契合也不是文案偏好：各市场对同一型号说法不一，模型会拆成两个实体，见品牌实体是否存在。

先定怎么判，再谈几分

评分表的价值不在分数，而在判定规则：什么情况直接淘汰，什么情况退回补料，什么情况才算通过。

判定	触发条件	处理
淘汰	准确性 0：有一处与主数据或政策冲突的事实	不进平均分，直接重写
退回	引用 0：关键说法找不到来源	补来源后再评
观察	时效 0：价格或政策已过期	先更新，复评时重算
通过	准确性 2，其余四项合计 ≥6（满分 8）	进入下一轮抽样
样本	五项全 2，且引用里有站外来源	作为写作模板

两条细则。第一，**评的是答案，不是页面。**同一页面在不同问题下被摘出的段落不同，评分对象必须是“问题 + 答案原文 + 引用列表”；段落边界的影响见让 AI 正确摘录：HTML 语义与段落边界。第二，一次只改一个变量：改 rubric 或改内容，同时改就无法归因。

一个反例：有团队把“是否提到品牌核心卖点”写进 rubric，结果模型给所有答案都打了满分，因为卖点词每篇都有。这条标准对区分好坏没有信息量，删掉比调权重更有效。

校准、抽样与版本：让分数可以被比较

模型评分要先通过人的考试：人对人一致，模型才对人。

先抽 30–50 条 AI 实际给出的答案原文，不是自己写的页面。两个编辑独立打分，先写档位定义再看一致率；同一段文字一个人给 1 分、一个人给 2 分，说明档位含糊，先改定义，别急着写提示词。

模型对齐看一致率和分歧位置，不看平均分差——平均分会掩盖系统性偏移。逐条读分歧样本，通常能读出它的偏好：奖励长度、结构、自信。提示词里带上标准原文、档位锚点和可核验资料，并要求输出分数、理由和证据位置；没有理由的分数不采信。

抽样单位是答案，不是页面。按问题类型分层（品类、对比、约束场景、品牌直问），每轮 30–50 条，从基线那批问题里抽；临时换题等于换尺子。复评每月一次；rubric 改版时留 10 条固定锚题重跑，否则上个月的 7.2 和这个月的 6.4 没有可比性。版本四件套：rubric 版本、prompt 模板、模型版本、采样日期，一起记进同一张表。只记分数的表，三个月后没人能解释。

这条线属于度量与增长，产出是“先改哪一项”的判断，不是一个能贴到墙上的综合分。评分依赖的那批问题从哪来，见先建基线：你的 AI 可见度现在是多少。

示例：一次评分表返工

示例：某虚构的德国站厨房小家电品牌（假设场景，数字仅作示意）。第一版评分跑完 40 条答案，均分 8.4，看起来只剩细节问题。人工抽 12 条复核：5 条把英规插头写成“欧洲通用”，3 条用了已下线的两年保修，2 条把 1500W 写成 2000W。模型给这几条的分都在 8 分以上，因为它们结构完整、引用齐全、语气笃定。

返工做了三件事：把准确性改成闸门，事实来源限定为主数据表和政策页；删掉两条无法区分优劣的维度（“是否提到品牌”和“是否有小标题”）；把保修政策页挂进评分上下文。同一批答案重跑，均分降到 6.1，但模型与人工的分歧从 14 条降到 3 条。分数变低、结论变可信，这才是评分表该有的第一次结果。

评分对象跟着答案单元走：一条答案连结论句都没有，模型只能从描述里拼，分数低不代表内容差，而是缺一段能被直接摘走的话。四段结构怎么写，见答案单元：一段话让 AI 说清你卖什么。

边界：什么时候不该让模型打分

第一，品类事实无法外部核验。定制、手作、主观体验类商品，准确性只能靠内部主数据，评分容易滑成自评。

第二，还没有基线。没有固定的问题集和采样纪律，每轮评的对象都不同，分数没有时间序列意义。

第三，答案量本来就小。每月不到二十条，两个人读完比搭一套评分体系便宜得多。

第四，用来考核个人。分数一旦和绩效挂钩，就会被优化成更好看的文字。

第五，非英语市场先验证语言能力。小语种上模型稳定性通常弱于英语，先用人工把同一批答案打一遍；把语言短板算成内容问题，是最常见的误判。

这个月挑一件事做：从最近一轮 AI 答案里抽 30 条原文，两个人按五项标准各自独立打一遍，把两人对不上的条目抄成一列；对不上的超过三分之一，就先改档位定义，别写提示词。这一页纸，比一张涨了两分的周报有用。