AI 评测可信度：Golden Set、打分器校准与统计显著性

01 / Conclusion

评测是测量系统，不是排行榜

一个分数只有在题集、评分器、运行配置、统计方法和发布规则都可追溯时，才有决策价值。当前最优先的工作是修测量系统，再投入真实 API 费用。

01 · BOUNDARY

先分清被测层级

模型、组件、工作流、Agent 和端到端系统各有自己的因果边界，不能把组件均分写成生产 SLA。

02 · ISOLATION

四层数据严格隔离

开发、回归、隐藏测试与生产影子集承担不同职责。调参只能发生在校准侧，锁定集不能反复试到满意。

03 · SCORER QA

评分器先过反例

同输出同分、数字边界、否定范围、多工具调用和失败计分不通过，更多真实调用只会放大偏差。

04 · HUMAN CAL

Judge 必须校准

隐藏模型身份、随机左右顺序、双人独立标注并仲裁；换模型、提示词或 rubric 就是新的 scorer 版本。

05 · UNCERTAINTY

分差要带区间

保留逐题配对，按会话、speaker 或来源文档等真实独立单位重采样，同时报告效应量和业务阈值。

06 · NO RANKING

mock 不能做选型榜

本地 mock 适合验证管线和暴露评分器 bug，不代表任何模型或厂商的真实准确率、延迟或稳定性。

02 / Measurement lifecycle

可信结论要走完一条证据链

每个环节都能让最终排名失真。评测设计应从业务风险出发，直到发布判断都保留版本、原始结果和错误。

业务风险决策问题、主指标、关键切片、最小业务效果

数据与标注来源、授权、group split、盲标、仲裁、污染审计

评分器校准反例套件、顺序互换、Judge 混淆矩阵、一致性

固定运行模型、提示词、工具、知识、并发、失败和原始输出

统计与发布配对、CI、效应量、多重比较、切片与一票否决

【参考重构】综合 HELM、OpenAI 评测最佳实践、Datasheets、统计检验论文与本地代码审计；不表示某个现成平台已提供完整实现。

五个被测层级：必须分别给出结果与限制
层级	主要对象	合适结果	禁止的外推
模型	固定输入下的生成或预测	逐题正确、偏好、校准误差	模型分数直接写成业务成功率
组件	ASR、EOU、RAG、TTS	CER/WER、误切率、忠实性、MOS/ABX	单组件指标替代整条链路体验
工作流	编排、提示词、工具、知识版本	任务完成、错误、成本与延迟	把编排改进归功于底层模型
Agent	多轮交互、工具与最终状态	政策遵循、副作用、`pass^k`	只看最后文本或第一条工具调用
端到端	电话信道到人工接管的全链路	SLA、P95/P99、降级与恢复	实验室平均值写成生产 SLA

03 / Golden Set

一份题库，要拆成四个责任层

Golden Set 不是永远不变的答案册。分层的目的，是防止开发者在同一批题上反复修到高分，再把这份熟练度叫作泛化能力。

开发集

写提示词、改编排、调 scorer。允许反复查看，但永远不能作为最终泛化证据。

ITERATE

固定回归集

守住已知能力和已修 badcase。题目、评分器和阈值变更都要留下版本记录。

REGRESSION

隐藏保留集

实验方案锁定后才揭盲，用于最终比较与发布；限制运行次数，避免试到满意。

LOCKED TEST

生产影子集

从真实分布发现新失败模式和漂移。必须去标识化、说明授权与采样偏差。

SHADOW

随机按行切分通常不够。对话按用户/会话，语音按 speaker/设备，RAG 按来源文档/会话，Agent 按任务族和环境初态进行 group split，避免近义样本和同源内容跨集合泄漏。

每条样本都需要可追溯数据卡

【论文证据】Datasheets for Datasets 支持记录动机、组成、采集、处理、用途和维护。完整数据卡提高可追溯性，但不能自动消除偏差、错误或训练污染。

04 / Scorer calibration

评分器也要先参加考试

能用确定性规则验证的部分先验证，再把剩余语义交给校准后的 Judge 或人工。一个 Judge 包办所有指标，会让偏差失去追责位置。

四级评分器及其边界
评分层	适合的问题	优势	主要风险
确定性检查	JSON/schema、数值、最终状态、副作用	可复算、成本低	规则漏项与边界 bug
任务指标	参考答案、CER/WER、分类、检索	容易比较	指标不一定等于业务价值
校准 Judge	语义、忠实性、开放答案	覆盖复杂语义	位置、冗长、同源和自生成偏好
盲化人工	高风险、歧义、主观质量、仲裁	最接近业务标准	成本、漂移与标注分歧

评分器反例套件

同输出同分：只换模型名、运行 ID、空白或无关元数据，分数必须相同。

数字边界：12 不能命中 122b、3120 或订单编号。

否定范围：区分“不能承诺”和双重否定，不能只看禁词前几个字。

全部工具调用：检查顺序、schema、required、类型、枚举和禁止副作用。

失败计分：超时、断流、解析失败和空响应不能从能力及延迟分母消失。

Judge 校准流程

① 分层抽样，隐藏模型身份与价格；② 成对答案随机左右并交换顺序复评；③ 两人独立盲标、第三方仲裁；④ 报混淆矩阵、分类指标、一致率和适合的 κ/α；⑤ 换 Judge、prompt 或 rubric 就生成新版本。

MT-Bench 在其任务上发现位置、冗长和自增强偏差；约 80% 人类一致不能外推到中文客服。另一项研究发现 Judge 可能偏爱同源模型生成内容。

05 / Statistical inference

分差不等于胜负

同一道题重复三次可以看随机性，但不是三个独立用户。先按 case_id 聚合，再按会话、speaker 或文档等真实单位做配对重采样。

POINT

点估计

当前样本得分多少，只描述这一次数据快照。

EFFECT

效应量

两个方案实际相差多少，避免只看显著与否。

95% CI

不确定性

按正确独立单位 bootstrap，报告差异区间。

MDE

业务阈值

即使差异真实，也要超过足以改变风险、成本或体验的最小效果。

PAIR

逐题配对

相同题目上的候选差异比两个独立均值更有信息。

HOLM

多重比较

预声明主指标和比较族；用 Holm 等方法避免事后挑一个“显著”切片。

小样本满分仍然很不确定。EOU 的 8/10 对应 Wilson 95% 区间约 49.0%–94.3%；RAG 的 16/16 对应约 80.6%–100.0%。这些区间还没有处理合成音频、数据污染和组内相关，所以不能把它们当生产下界。

06 / Local evidence audit

本地评测能审计管线，不能排厂商名次

69.7% 244 / 350 条记录为 mock

真实本机计算 106 · 30.3%mock 244 · 69.7%

TTS 60、EOU 30、知识挖掘 16 为真实本机计算；ASR 24、Qwen 220 为 mock。MiniMax 克隆没有真实调用。

“真实”也有边界

TTS 是本机 say；EOU 是 10 条同一合成声重复三次；RAG Golden Set 仅 16 条且与索引来源有近同句。它们证明代码和实验链可运行，不能替代真人电话、真实云流式或生产分布。

模型名里的“12”，白拿了 2.50 总分

本地 scorer 使用裸子串判断关键词：

hit = [k for k in keywords if normalize(k) in norm]

know_02、know_07 的关键词含 12，而 mock 回复附带 qwen3.5-122b-a10b。模型名中的 12 被当成答案，尽管回复正文与其他模型完全相同。

+8.33 知识维度虚增

两题伪命中0.5 + 0.5

知识维度1 / 12 × 100 = 8.33

总分权重 0.30+2.50

【本地代码与原始数据证据】qwen-bench/qwen_bench/scorers.py、client.py、data/knowledge.jsonl、results/20260730-080231/raw_results.jsonl 与 summary.csv。这证明 scorer 被元数据污染，不证明任何模型能力差异。

已确认的机制性问题与跨轨道边界
问题	已确认事实	结果影响
重复聚合	CLI 写每题中位数，实现把重复结果混合求均值	同一题随机波动可能被当作更多独立样本
失败剔除	LLM/ASR 能力与延迟只汇总成功项	不稳定候选仍可能得到漂亮能力分和延迟
工具调用	只检查第一条，没有验证全部 schema 与副作用	第一条正确、第二条危险仍可能满分
ASR	12 条同一合成声；mock 直接返回参考文本	CER=0 只验证管线，不代表真实识别精度
RAG	Golden 查询与索引来源多处近同句	16/16 Hit@1 高度乐观，且未评答案忠实性
TTS	逐句启动 `say + afconvert`，整句完成后才返回	不能代表云端持续流，也未测 MOS/ABX 和声纹

07 / Release gates

五道门共同决定能否发布

主指标领先只是一个输入。数据隔离、评分器可靠、运行可复算、统计充分和关键风险切片都过线，结论才能进入选型或发布。

数据门来源、授权、PII、group split、版本、隐藏集和污染审计齐全。

评分器门反例套件通过；Judge 与盲化人工样本校准并留版本。

运行门固定模型、prompt、工具、知识和环境；失败保留在分母。

统计门配对、CI、效应量、业务阈值和多重比较控制齐全。

发布门主指标提升且关键切片不回退；高风险副作用一票否决。

统一运行清单

run_id: ... dataset_hash: ... scorer_hash: ... prompt_tools_hash: ... git_commit: ... dirty_state_hash: ... mode: real | synthetic | mock provider_model_version: ... endpoint_region: ... hardware_os_runtime: ... seed: ... repeats: ... warmup: ... concurrency: ... connection_reuse: ... started_at: ... price_date: ... raw_output_hash: ...

OpenAI 当前官方方法仍支持任务特定、真实分布、持续运行、记录日志和人工校准自动评分。但官方页面同时提示旧 Evals platform 将在 2026-10-31 转只读、2026-11-30 关闭，因此本项目采用供应商中立的本地 schema，不绑定即将退役的平台。

08 / Implementation

四阶段把评测变成生产基础设施

PHASE 01

修测量系统

修数字子串、失败剔除、重复聚合和全部工具调用检查；建立 scorer 反例套件。

PHASE 02

重建数据隔离

统一 manifest；按会话、speaker、来源文档 group split；锁定校准和隐藏测试集。

PHASE 03

校准人与 Judge

双人盲标和仲裁；做顺序互换、自生成偏好测试与分切片混淆矩阵。

PHASE 04

统计门禁上线

逐题配对、cluster bootstrap、Holm、关键切片与一票否决进入发布流程。

已确认

244/350 为 mock
scorer 存在模型名数字污染
重复、失败和工具调用聚合有机制风险

合理推断

修 scorer 后现有顺序很可能变化
按真实组聚类后区间通常更宽
失败纳入门禁会压低不稳定候选结论

尚无证据

真实多厂商电话 ASR 排名
真实工具调用事务一致性
音色克隆盲测与端到端 SLA

09 / Sources & limits

来源与证据边界

访问日期均为 2026-08-30。信源数量表示覆盖度，不代表结论自动可靠；每条仅用于它实际支持的范围。

HELM: Holistic Evaluation of Language Models · Stanford CRFM，TMLR 2023；初版 2022-11。
arxiv.org/abs/2211.09110

支持多场景、多指标和配置可追溯；不证明其权重适合本项目。

Evaluation best practices · OpenAI 官方文档。
developers.openai.com/.../evaluation-best-practices

支持任务特定、真实分布、持续评测、日志和人工校准；不给出通用样本量。

Datasheets for Datasets · Gebru et al.，CACM，2021-12。
doi.org/10.1145/3458723

支持数据卡与维护记录；文档完整不能消除抽样偏差。

GPT-4 Technical Report · OpenAI，2023-03-15。
arxiv.org/abs/2303.08774

支持公开 benchmark 污染风险；开发方自报不能独立审计训练数据。

Time Travel in LLMs · Golchin & Surdeanu，ICLR 2024。
arxiv.org/abs/2308.08493

支持行为信号识别疑似污染；不能确定证明训练成员身份。

Detecting Pretraining Data from Large Language Models · Shi et al.，ICLR 2024。
arxiv.org/abs/2310.16789

支持成员推断作为污染信号；检出率随模型与数据变化。

Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena · Zheng et al.，NeurIPS 2023。
arxiv.org/abs/2306.05685

支持位置、冗长、自增强偏差与顺序互换；约 80% 一致不能外推到中文客服。

LLM Evaluators Recognize and Favor Their Own Generations · Panickssery et al.，NeurIPS 2024。
arxiv.org/abs/2404.13076

支持同源生成偏好风险；不表示所有任务偏差同样强。

A Coefficient of Agreement for Nominal Scales · Cohen，1960。
doi.org/10.1177/001316446002000104

支持二人名义标签的 Cohen's κ；不适合所有标注结构。

Inter-Coder Agreement for Computational Linguistics · Artstein & Poesio，2008-12。
aclanthology.org/J08-4004

支持按标签类型选择一致性方法；不给出通用合格线。

Statistical Significance Tests for Machine Translation Evaluation · Koehn，EMNLP 2004。
aclanthology.org/W04-3250

支持成对 bootstrap；重采样单位仍需符合业务数据结构。

The Hitchhiker's Guide to Testing Statistical Significance in NLP · Dror et al.，ACL 2018。
aclanthology.org/P18-1128

支持按指标与数据结构选检验；不主张所有任务统一方法。

A Simple Sequentially Rejective Multiple Test Procedure · Holm，1979。
jstor.org/stable/4615733

支持控制多重比较家族错误率；不能弥补事后挑指标。

Statistical Comparisons of Classifiers over Multiple Data Sets · Demšar，JMLR，2006-01。
jmlr.org/papers/v7/demsar06a.html

支持多分类器跨数据集受控比较；测试集行不能冒充独立数据集。

Bootstrap Estimates for Confidence Intervals in ASR Performance Evaluation · Bisani & Ney，ICASSP 2004。
doi.org/10.1109/ICASSP.2004.1326004

支持 WER 与系统差异区间；不验证人工转写和音频覆盖。

ITU-T P.808 · ITU-T，2021-06。
itu.int/rec/T-REC-P.808-202106-I/en

支持随机化、听者资格和主观测试质控；MOS 不等于相似度或任务成功。

ARES: An Automated Evaluation Framework for RAG Systems · Saad-Falcon et al.，NAACL 2024。
aclanthology.org/2024.naacl-long.20

支持拆分检索、忠实性与答案相关性并校准 Judge；不能取消人工抽检。

τ-bench: A Benchmark for Tool-Agent-User Interaction · Yao et al.，ICLR 2025；初版 2024-06。
arxiv.org/abs/2406.12045

支持最终状态、政策遵循和 pass^k；模拟领域不能代表真实线上 SLA。