Qwen

千问全系列对比 · 客服/外呼评测方案

← 调研中心

千问(Qwen)全系列模型横向对比 + 客服/外呼场景可落地评测方案

覆盖 Qwen3.5 / 3.6 / 3.7 三个世代共 13 个模型(含 2 个端到端语音模型)的参数规模、架构、上下文、价格与能力定位; 并给出一套面向语音客服与外呼的四维度评测方案,配套可真跑的 qwen-bench 工具。

生成日期 2026-07-29 · 价格口径:阿里云百炼中国内地按量原价 · 数据来源 8 处(文末列出)
目录 核心结论 全系列总表 价格与规模 世代演进 公开基准的陷阱 评测方案 实测结果 选型建议 工具用法 来源

◆核心结论

结论 1 · 选型落点
客服/外呼在线链路首选 Qwen3.7-Plus(2/8 元)或 Qwen3.6-Flash(1.2/7.2 元); 需要数据不出域则用 Qwen3.5-122B-A10B(Apache 2.0,10B 激活跑 133~155 t/s)。
结论 2 · 最大风险
千问在知识密集型客服上明显偏弱:τ³-Banking(700 篇文档检索+政策应用)Qwen3.5-397B 仅 9.8%, 而 GPT-5.5 为 46.4%。知识部分必须靠外部 RAG 兜住,不能指望模型自身记忆。
结论 3 · 强项所在
同一个 Qwen3.5-397B 在 τ²-bench(有明确工具+流程约束的零售/航司/电信客服任务)拿到 87.9% 全球第 2。 说明千问适合流程驱动 + 工具调用型客服。
结论 4 · 成本结构
单价最低不等于最省。Qwen3.6-Plus 缓存命中价仅 0.2 元/百万 Token, 长 system prompt + 知识库的客服场景(缓存占比高)实际比标价更便宜的模型还划算。
结论 5 · 延迟口径
外呼要看首个可播报字延迟(TTFA)而非 TTFT。思考模型先吐一大段 reasoning, TTFT 好看但用户等很久;本方案默认关闭思考模式评测。
结论 6 · 端到端语音
Omni-Realtime 免掉 ASR+TTS 拼接,但文本 10/79.8 元、音频 59.8/299.1 元, 成本是文本方案的 10 倍以上且可控性弱,建议只在小流量高价值场景试点。

◆全系列总表:多少 B、什么架构、多少钱

MoE 模型的「总参数 / 激活参数」决定了两件事:总参数决定能力上限与部署显存, 激活参数决定推理速度与单 token 成本。所以 122B-A10B 能做到"122B 的知识面、10B 的速度"。

模型系列定位参数 / 激活架构 上下文开源输入输出 混合价场景定位
价格单位:元/百万 Token(百炼中国内地按量原价,不含限时折扣)。混合价按客服典型配比「输入 3 : 输出 1」估算。

◆价格与规模可视化

输入 / 输出价格对比(元 / 百万 Token,对数轴)

对数轴:最贵的 3.7-Max 与最便宜的 3.5-35B-A3B 相差 30 倍,线性轴无法同屏看清。

开源模型:总参数 vs 激活参数(B)

激活参数越小推理越快越便宜。397B-A17B 与 122B-A10B 都是"大而稀疏"的典型。

千通客服会话成本估算(元,单通输入 3000 / 输出 300 Token)

按单通 3000 输入 + 300 输出 Token 折算。真实业务若 system prompt 更长,可在工具里用 --session-in 调整。

◆三个世代怎么演进的

Qwen3.5 系列 · 开源主力世代

2026-02

首次做到原生多模态统一底座(早融合视觉-语言)+ 混合稀疏架构(Gated Delta Networks + 256 专家 MoE)。 旗舰 397B-A17B 以 17B 激活超过上代万亿参数的 Qwen3-Max,部署显存降约 60%。 家族最全:397B / 122B / 35B / 27B / 9B / 4B / 2B / 0.8B,支持 201 种语言。这一代是私有化部署的主力选择。

Qwen3.6 系列 · Agentic 强化

2026-04

重点强化 Agentic Coding / 前端生成 / Vibe Coding 与多模态识别(OCR、万物识别、物体定位)。 3.6-Plus 的 SWE-bench Verified 达 78.8%、AA 智能指数 40(3.5-122B 为 32)。 开源侧 35B-A3B 用 3B 激活反超上代 27B Dense。对客服的实际价值:工具调用与多步编排更稳。

Qwen3.7 系列 · 智能体时代旗舰

2026-05

Max 为超万亿参数高稀疏 MoE,上下文扩到 100 万 Token,主打长周期自治执行; Plus 为主力性价比款,输出价比 3.6-Plus 降 33%(12 → 8 元)。 相比前代 Qwen-Max,输入/输出价格分别下降 88% / 84%。目前在线客服链路的默认候选就是 3.7-Plus。

版本快照要固定。百炼的 qwen3.7-plus 这类别名会随时间指向新快照(能力与延迟都可能变), 生产环境建议锁定 qwen3.7-plus-2026-05-26 这种带日期的快照名,并定期用本方案回归。

◆为什么不能照搬公开基准

同一个模型在两个都叫"客服"的基准上,表现可以差出 8 倍。这不是榜单有问题,是任务形态不同。

基准任务形态Qwen 表现最优模型对我们的含义
τ²-bench
零售 / 航司 / 电信
有明确工具 + 流程规则,与模拟用户多轮交互,按数据库状态判定 Qwen3.5-397B 87.9%
全球第 2
GLM-5.2 90.9% 流程驱动型客服,千问完全够用
τ³-Banking
知识密集型
从 ~700 篇文档检索并应用政策 Qwen3.5-397B 9.8%
榜末
GPT-5.5 46.4% 知识检索必须外挂 RAG,且检索质量决定上限
TAU2-Bench 工具-用户交互(官方自测口径) Qwen3.5-122B 79.5%
优于 GPT-5-mini 69.8%
— 中型开源模型的工具调用已可用
AA 智能指数 9 项综合评测加权 3.6-Plus 40 / 3.5-122B 32 — 通用能力参考,与客服相关性弱
SWE-bench Verified 真实仓库代码修复 3.6-Plus 78.8% / 3.5-122B 72.0% — 与客服无关,不应作为选型依据
结论:没有一个公开榜单能替你回答"这个模型放进我的外呼链路行不行"。 必须用自己的话术、自己的工具 schema、自己的知识库跑一遍——这就是下面这套评测方案存在的理由。

◆评测方案:四维度 44 题

全部规则可自动判定,不用人工标注、不用裁判模型(避免裁判模型的偏好污染横评结果)。 每题输出 0~1 分 + 失败原因标签,便于定位短板。

① 意图与多轮推理

25%

12 题 · 意图命中 0.6 + 槽位 F1 0.4

  • 多轮指代消解:"就是那个 88123"
  • 话题跳转:查物流中途改口要退款
  • 否定纠正:"不是退款,是改地址"
  • ASR 无标点长句 / 口语数字"八八一二三"
  • 5 轮后跨轮记忆(回指前面提过的金额)
  • 输出非法 JSON 直接 0 分(工程可用性也是能力)

② Function Call 工具调用

30%

10 题 · 工具正确 0.5 + 参数精确匹配 0.5

  • 5 个工具:查物流 / 退款 / 改地址 / 取消 / 转人工
  • 易混工具区分:未发货应"取消"而非"退款"
  • 参数归一化:自然语言 → 枚举值(破洞→质量问题)
  • 3 道不该调用的题:缺参数应反问、纯咨询、无对应能力
  • 臆造参数额外扣分(把用户没说的信息瞎填)

③ 幻觉抑制与知识边界

30%

12 题 · 三类题分别判定

  • 可答:答案在知识库里,考察忠实度;明明有答案却推诿也罚
  • 不可答:价保政策 / 具体到货日 / 竞品价格,编造即 0 分
  • 诱导陷阱:「你保证三天到」「答应赔十倍」「特批一次」,说出违规承诺即 0 分
  • 违规词检测带否定语境排除:「不能保证三天到」判为合规

④ 语音链路适配

15%

10 题 · 四项扣分制 + 延迟打点

  • Markdown 符号扣 0.35(TTS 会把 ** 和列表念成杂音)
  • 括号旁白扣 0.15(会被念出来)
  • 超长扣分(外呼话术过长会被用户打断)
  • 单句 > 30 字扣 0.15(缺停顿点,打断恢复差)
  • 场景:开场、抗拒挽留、政策口语化、金额复述、被打断续接

延迟口径:区分 TTFT 与 TTFA

  • ttft_ms:请求发出 → 第一个 chunk(可能是思考内容)
  • ttfa_ms:请求发出 → 第一个正式回答字符 —— 外呼真正的首播延迟,选型看这个
  • e2e_ms:请求发出 → 流结束;tps:输出 token 数 / 解码时长

建议门线:外呼实时链路 TTFA p50 < 800ms,超过 1.2s 用户会明显感觉卡顿。

成本口径

按"一通典型客服会话"折算:默认单通输入 3000 Token(system prompt + 知识库 + 历史)、输出 300 Token, 产出 cost_per_1k_sessions(千通成本,元)与 score_per_yuan(总分 / 千通成本 = 性价比)。

◆实测结果

模型总分意图 25%工具 30% 幻觉 30%语音 15%TTFA p50 吞吐 t/s千通成本分/元主要失败类型

四维能力雷达

能力 vs 成本(越靠左上越划算)

横轴:千通会话成本(元,对数);纵轴:加权总分。

◆客服/外呼选型建议

推荐三层分工架构

第 1 层 · 路由分流
Qwen3.5-35B-A3B
0.4 / 3.3 元。只做意图分类与槽位抽取,3B 激活延迟极低。 识别到复杂意图再上抛,能挡掉 60~70% 的简单请求。
第 2 层 · 主对话(在线实时)
Qwen3.7-Plus / 3.6-Flash
2/8 或 1.2/7.2 元。负责多轮对话、工具调用、话术生成。 长 system prompt 务必开显式缓存,命中价可低至 0.2 元(3.6-Plus)。
第 3 层 · 兜底与质检(离线)
Qwen3.7-Max
12/36 元。只跑复杂工单研判与通话质量抽检, 走 Batch 调用半价。绝不放进实时链路。

私有化部署(数据不出域)怎么选

  • Qwen3.5-122B-A10B(Apache 2.0):性价比甜点,FP8 约需 2×H100/H800 级显存,实测 133~155 t/s;第三方托管最低 $0.29/$2.90
  • Qwen3.6-35B-A3B:单卡可跑,Agentic 能力超上代 27B Dense,适合中小坐席规模
  • Qwen3.5-27B / 3.6-27B(Dense):约 48G 显存,输出比 MoE 更稳定,适合对一致性敏感的问答
  • Qwen3.5-397B-A17B:开源天花板,τ²-bench 87.9%,但部署门槛高,适合有 GPU 集群的团队

四条硬性淘汰线

  1. Function Call < 80 分直接淘汰 —— 会造成错误工单,线上最贵的故障
  2. 幻觉抑制 < 80 分直接淘汰 —— 编造政策与违规承诺是合规事故
  3. TTFA p50 > 1.2s 不进实时外呼链路
  4. 语音维度出现 Markdown 输出的,要么换模型,要么在 TTS 前加清洗层(但会增加延迟)
别忘了 RAG。基于 τ³-Banking 的结果,千问系列的知识短板必须靠检索侧补: 知识库要做结构化切片 + 政策条目化,并在 prompt 里强制"只依据给定资料回答,无资料就转人工"。 本方案的第 ③ 维度就是在测这条约束到底管不管用。

◆qwen-bench 工具用法

纯标准库实现(SSE 流式用 urllib 手写),无第三方依赖;题库为 JSONL,替换成自己的业务话术即可复用。

cd qwen-bench

# 1. 看全系列规格与价格(不调 API、不花钱)
python3 -m qwen_bench --list

# 2. 离线跑通全流程,验证打分逻辑
python3 -m qwen_bench --mock --preset all

# 3. 真实评测:把 Key 写进 .env(已 gitignore)
cp .env.example .env      # 填 DASHSCOPE_API_KEY=sk-xxx
python3 -m qwen_bench --preset shortlist --repeats 3

# 4. 只测某几个维度 / 导出报告页数据
python3 -m qwen_bench --dims toolcall,knowledge --models qwen3.7-plus
python3 -m qwen_bench --preset all --site-js ../research-hub/qwen-bench-data.js

目录结构

  • qwen_bench/models.py —— 13 个模型的规格与价格注册表,改价只需改一处
  • qwen_bench/client.py —— 百炼 OpenAI 兼容流式客户端 + 延迟打点
  • qwen_bench/scorers.py —— 四维打分器与权重(DIM_WEIGHTS 可改)
  • data/*.jsonl —— 44 道中文题库,按维度分文件
  • results/<时间戳>/ —— 原始回复 + 打分明细 + 聚合 CSV

◆数据来源

价格与榜单随时间变动。本页规格数据由 qwen-bench/qwen_bench/models.py 自动导出, 建议每季度用官方价格页校对一次;实测数据可随时重跑刷新。
← 返回调研中心 回到顶部