此前的报告矩阵覆盖了"通话进行中"的全链路(判停/识别/合成/编排/线路),本篇补齐三块空白:① 通话后的 LLM 全量质检与指标体系;② 录音数据的存储合规(同意规则/保存期限/跨境);③ 语音 Agent 自身的安全攻防(提示词注入、声音克隆欺诈、成本耗尽攻击)。
人工坐席质检看"态度与话术";AI Agent 质检必须逐层归因——音频层问题会级联成转写错误→意图误判→任务失败,只看结果永远找不到根因:
| 层 | 关键指标 | 典型故障 |
|---|---|---|
| ① 电话/音频层 | 丢包、抖动、信噪比、编解码延迟 | 破音、掉线、回声 |
| ② ASR 转写层 | WER/CER、置信度、转写延迟 | 听错、静默失败、漂移 |
| ③ LLM 语义层 | TTFT、意图准确率、幻觉率 | 路由错、编造、超范围承诺 |
| ④ TTS 合成层 | 合成延迟、MOS、音色一致性 | 卡顿、机器音、音色漂移 |
这套分层与本地 duplex-trace 全双工链路追踪站点的设计完全同构——生产化时把 duplex-trace 的时序采集接上 OTel 即为观测底座。
| 核心业务指标 | 公式/口径 | 基准(Hamming 生产数据) |
|---|---|---|
| Containment 自闭环率 | AI 独立办结 / 总通话 | >80% 优秀;70–80% 良好;<60% 有能力缺口。警惕"假闭环":高 containment + 低满意度 = 用户放弃而非被解决 |
| TSR 任务成功率 | 完成任务 / 尝试任务(与是否转人工无关) | ≥75%;预约类流程可到 85%+ |
| FCR 首解率 | 48–72h 窗口内未回呼视为解决 | ≥75% 行业基准 |
| TTFW 首词延迟 | 用户静音判定 → Agent 出声 | <300ms 自然;>800ms 对话开始崩坏;行业中位数实际 1.4–1.7s(差 5 倍,即优化空间) |
| 话轮质量 | 抢话恢复率 >90%、重叠 <5%、最长独白 <30s | 与 EOU 报告的误切断率指标共用回归门禁 |
↔ 各辖区要点 | 细则以当地法务意见为准,本表为工程设计输入
| 辖区 | 录音同意规则 | 保存期限要点 | 工程含义 |
|---|---|---|---|
| 巴西 LGPD | 须明确告知并有合法依据;客户有权请求删除 | "必要期限"原则——超期必须删;长期全量保存本身即违规 | 按用途分级 TTL(质检 6–12 个月、争议留证按诉讼时效)+ 到期自动删除任务 |
| 美国(分州) | 单方同意州 vs 全员同意州(加州等)并存 | 行业法叠加(HIPAA/PCI 等) | 跨州外呼一律按全员同意设计:开场白播报"通话将被录音" |
| 欧盟 GDPR | 明确同意或合法利益 + 告知 | 目的限定 + 最小化 | PII 转写后文本层脱敏(级联架构在这层有天然接口) |
| 墨西哥 | 联邦数据保护法(LFPDPPP)告知义务 | 类 LGPD 必要期限 | 与 REPEP 名单 scrub 同一合规模块管理 |
| 东南亚各国 | 新加坡 PDPA / 印尼 PDP Law / 菲律宾 DPA 均要求告知 | 印尼 PDP 有本地化倾向(详见 SEA/拉美 LLM 报告合规章) | 录音存储区域跟着数据驻留要求走:印尼业务优先雅加达/新加坡区 |
| 中国 | 个保法告知同意;金融行业双录 | 行业惯例 6 个月–5 年(金融从严) | 国内业务线单独存储域,不与海外混池 |
框架来自 OWASP Top 10 for LLM Applications 2025 + RedCaller 语音场景映射,按我们业务重排优先级
| 风险项 | 语音场景形态 | 对我们的优先级 | 缓解手段 |
|---|---|---|---|
| LLM01 提示词注入 | 口述注入("忽略之前的指示…")、背景音注入、经 RAG 召回内容的间接注入、STT 特有向量(谐音/多语种混说绕过) | P0 | 系统提示与用户输入硬隔离;工具调用白名单;对"改指令类"话术模式检测拦截 |
| LLM06 过度代理 | 工具权限过宽:一通被注入的电话 = 直接操作 CRM/退款/转账 | P0 | 工具最小权限 + 资金类操作强制二次验证(短信/APP 确认),Agent 只能"发起申请"不能"执行" |
| LLM10 无限消耗 | 话费欺诈(toll fraud)、恶意长通话烧 API 额度、并发耗尽 | P0 | 单通时长/token 硬上限、单号码频控、成本异常实时告警(与 AMD 报告的护栏同一套) |
| LLM02 敏感信息泄露 | TTS 把不该念的内容念出来(他人 PII、内部字段) | P1 | 输出前校验层:白名单字段才可进 TTS;身份未核验前不吐任何账户信息 |
| LLM07 系统提示词套取 | 角色扮演/假设句式电话套话术与业务规则 | P1 | 提示词不放敏感逻辑(阈值/风控规则后端化);套取模式进质检禁语库 |
| LLM09 幻觉误导 | 电话的"权威感"放大幻觉伤害:编造政策/承诺赔付 | P1 | 承诺类话术模板化 + RAG 溯源强制;质检 rubric 设"超范围承诺"红线项(与 qwen-bench 幻觉抑制维度衔接) |
| LLM03/04/08 供应链与数据投毒 | 被投毒的第三方模型/知识库;客户可写数据源进 RAG | P2 | 供应商清单管理;知识库写入审核;向量库内容签名 |
| LLM05 输出处理不当 | 未校验的函数调用参数直通下游系统 | P2 | 工具参数 schema 严校验 + 越权参数拒绝 |
架构级结论:级联架构的文本中间层同时是质检采集点、脱敏卡点、输出校验点、审计留痕点——安全与合规四个需求共用一层实现,这是对"级联为主"选型的第四重加固。
离线转写选型见 开源 ASR 部署;声纹与反合成见 Media Center 对接方案;TTS 克隆合规见 流式 TTS 全景;数据驻留与各国数据法见 SEA/拉美大模型调研;级联架构论证与合成呼叫测试见 编排框架与 S2S。