一、背景速览：公开榜单为什么不能直接用

调研阶段已经发现一组极端反差（见 千问全系列模型对比 + 客服/外呼评测方案 ↗）：

同一个模型，在"流程清晰、工具齐全"的客服任务上接近世界第一，在"要从 700 篇文档里检索并应用政策"的客服任务上几乎不可用。 结论是：公开榜单必须换成贴合自己业务的题库重测，否则选型会被误导。

二、评测方案：四维度与权重

把工具调用与幻觉抑制的权重设成最高（各 30%），正是上面那组反差数据推导出的结论：千问适合做流程驱动 + 工具调用型客服，知识检索必须靠外部 RAG 兜住。 这两项决定会不会造成错误工单和合规事故。

2.1 题库里最有价值的设计：3 道"不该调用工具"的题

10 道工具题里刻意放了 3 道陷阱题——缺参数应该反问、纯咨询不该操作、没有对应工具能力。 专门抓"乱调工具造成误操作工单"这个线上最贵的故障。

2.2 延迟口径：ttft 与 ttfa 必须分开

2.3 成本口径：折算到"千通会话"

按单通输入 3000 token（系统提示 + 知识库 + 历史）、输出 300 token 折算， 输出 cost_per_1k_sessions（千通会话成本，元）与 score_per_yuan（总分 ÷ 千通成本，性价比）。 价格登记在 qwen_bench/models.py，改价只改一处。

三、环境准备

无第三方依赖，Python 3.7+ 标准库即可运行——连 SSE 流式解析都是用 urllib 手写的， 不装 openai / dashscope SDK。好处是不会因为 SDK 版本升级导致评测结果不可复现。

$ cd qwen-bench

# 看全系列规格与价格（不调 API、不花钱）
$ python3 -m qwen_bench --list

# 真实评测才需要 Key
$ cp .env.example .env && vi .env      # 填 DASHSCOPE_API_KEY=sk-xxx

四、跑通步骤

1. mock 模式跑 5 个模型 × 44 题
   执行评测

   $ python3 -m qwen_bench --mock \
       --models qwen3.7-plus,qwen3.6-flash,qwen3.5-122b-a10b,qwen3.5-35b-a3b,qwen3.6-27b

2. 观察逐题明细：失败类型会直接标出来

   这是这套工具最实用的地方——不只给分，还给失败归因，能直接指向线上会出什么故障。

   [qwen3.6-27b] tool_02 toolcall 得分=0.00 ← over_call：无需工具却发起调用（易造成误操作工单）
   [qwen3.6-27b] tool_04 toolcall 得分=0.00 ← wrong_tool：选错工具
   [qwen3.6-27b] know_10 knowledge 得分=0.00
   [qwen3.6-27b] voice_01 voice  得分=0.85 首答=300.0ms

3. 读横向对比表

   模型                    总分   意图   工具   幻觉   语音   首答p50  吞吐  千通成本  分/元
   qwen3.5-122b-a10b     33.0  30.0  10.0  32.5  85.0   300.0   50.0   4.3     7.6
   qwen3.7-plus          30.5  30.0  10.0  24.2  85.0   300.0   50.0   8.4     3.6
   qwen3.6-flash         30.5  30.0  10.0  24.2  85.0   300.0   50.0   5.8     5.3
   qwen3.5-35b-a3b       30.5  30.0  10.0  24.2  85.0   300.0   50.0   2.2    13.9
   qwen3.6-27b           30.5  30.0  10.0  24.2  85.0   300.0   50.0   14.4     2.1
   
   权重：意图 25%、Function Call 30%、幻觉抑制 30%、语音适配 15%
   千通成本按单通输入 3000 / 输出 300 token 估算（元，百炼中国内地原价）
   结果目录：qwen-bench/results/20260730-080231

五、本机验证结果

5.1 管线验证通过项

六、核心发现

6.1 最重要的发现：打分器被模型名字"送分"了

看上面的对比表——五个模型的 mock 回复内容完全一样，但 qwen3.5-122b-a10b 的幻觉维度拿到 32.5 分，其余四个都是 24.17 分，因此它以 33.0 总分"排名第一"。

逐题追查明细，找到了原因：

# 同一道题 know_02，两个模型的回复文本几乎一样

== qwen3.5-122b-a10b
 task know_02 score 0.5  detail {'type':'answerable', 'kw_hit': ['12'], 'kw_total': 2}
 content: 您好，这边帮您核实一下，请稍等。（mock:qwen3.5-122b-a10b）

== qwen3.7-plus
 task know_02 score 0.0  detail {'type':'answerable', 'kw_hit': [], 'kw_total': 2}
 content: 您好，这边帮您核实一下，请稍等。（mock:qwen3.7-plus）

这不是 mock 特有的问题，真实评测里同样会发生：模型输出一大段废话，废话里偶然出现"12"、"7天"、"128"这类短字符串，就白拿分。 短数字关键词尤其危险——它们几乎必然会在任意长文本里出现。

6.2 价格与参数规模不同向：Dense 27B 比 Plus 还贵

Qwen3.6-27B（27B Dense）的登记价是输入 3.0 / 输出 18.0 元每百万 token， 比参数量大得多的 Qwen3.7-Plus（2.0 / 8.0）贵一倍以上，也比 122B MoE（0.8 / 6.4）贵 3~4 倍。

6.3 mock 的分数为什么普遍很低（这是对的）

这四个数字恰好证明打分器方向是对的：会踩陷阱的地方全踩了、该给高分的地方给了高分。 工具维度只有 10 分，正说明那 3 道"不该调用工具"的陷阱题设计有效。

七、接真实 API

$ cp .env.example .env
$ vi .env        # DASHSCOPE_API_KEY=sk-xxx

# 初筛 5 个主力，生产选型建议 repeats >= 3 看稳定性
$ python3 -m qwen_bench --preset shortlist --repeats 3

# 只跑关心的维度，省钱
$ python3 -m qwen_bench --preset open --dims toolcall,knowledge

# 对比开思考的收益与延迟代价
$ python3 -m qwen_bench --models qwen3.7-plus --thinking

结果怎么用（调研阶段给出的四条淘汰线）

1. 先看 Function Call 与幻觉两列：低于 80 分直接淘汰——这两项决定会不会造成错误工单与合规事故
2. 再看 ttfa_p50：外呼实时链路建议 < 800ms，超过 1.2s 用户会明显感觉"卡"
3. 最后看 score_per_yuan：同等能力下选性价比高的；大流量优先考虑开源自部署 + 缓存
4. 典型分层：轻量模型（35B-A3B）做意图路由 → 主力模型做主对话 → 旗舰只做离线质检与复杂工单兜底

八、踩坑记录