EOU 模型专题 · 话轮结束检测全景

场景一 · 智能外呼（催收 / 回访 / 营销）高并发 · 成本敏感

痛点：抢话直接导致挂断率上升；每路通话都要一个判停实例，CPU 与 GPU 方案单路成本差一个数量级。

• 选型：Smart Turn v3（8MB int8，CPU 10–65ms）＋ Silero VAD，普通云服务器即可扛生产并发，无需 GPU。
• 调参：外呼话术多为「用户短回复」，端点策略偏「快响应」——置信度阈值调低、最大等待兜底 500ms。
• 兜底：报数字环节（卡号 / 身份证）切换「录入模式」，强制延长等待窗口，规避犹豫截断。

商用替代：阿里云 OutboundBot 智能断句（与国内电话线路集成最省事）。延伸阅读：外呼长短期记忆知识图谱专题（EOU 管「听得对」，记忆管「说得对」）。

场景二 · 呼入客服对话（咨询 / 工单）体验优先 · 长对话

痛点：700–800ms 固定等待是端到端延迟的最大单项；用户表述长、思考停顿多，误切断即投诉。

• 选型：中文场景以 Smart Turn v3 为基线，用自有客服录音微调（BSD 协议 + 训练代码全开是关键优势）；追求上限可评估 LiveKit v1（注意中文不在其 14 语种重点列表）。
• 架构：判停与流式 ASR 并行跑（总延迟取 max 而非累加），判停 Invalid 时丢弃噪声段，防 ASR 幻觉触发 LLM 瞎答。
• 打断：配合 AEC 回声消除 + 附和词识别（「嗯嗯」不停、「等一下」停）。

商用替代：Deepgram Flux（英文为主）/ 火山引擎对话式 AI（中文 RTC 生态）。

场景三 · IVR 语音导航（菜单替代）短指令 · 高准确

痛点：用户输入多为短指令（「查话费」「转人工」），超短语音易被漏检或误判为噪声。

• 选型：短指令对语义完整性判断要求低、对「有话 / 没话」分类要求高——三分类思路（Complete / Incomplete / Invalid）价值最大，可参考 Turnsense 的 Invalid 拦截设计。
• 调参：端点策略偏激进（等待窗口 300ms 级），短指令说完即响应；误判成本低（可重问）。
• 注意：OpenAI Realtime semantic_vad 对短语音有漏检反馈，IVR 场景慎用纯黑盒方案。

评测方法：用 eot-bench 思路自建中文短指令测试集，核心看「300ms 预算下的误切断率 + 短语音漏检率」两个数。

① 端点策略层（不动模型，收益最快）零模型成本

• 置信度—等待时间曲线：不用单一阈值。概率 0.95 → 立即响应；0.7 → 再等 200ms 确认；0.4 → 等 600ms 兜底。把二值判断变成分级等待，误切断与延迟同时下降。
• 对话状态条件化（最实用）：刚问完「卡号是？」→ 录入模式强制延长等待窗口；刚问完「需要转人工吗？」→ 预期是/否短回复，激进模式 300ms 级响应。你比模型更知道用户接下来会说什么。
• 最大等待兜底：无论模型多犹豫，超过 1.5–2s 强制接管，防止死等。
• 超短语音白名单：「嗯」「对」「转人工」等高频短指令走关键词/意图旁路，绕过 EOU（针对 semantic VAD 短回复漏检通病）。

② 管线并行化与投机执行（降真实延迟）架构改造

• EOU 与流式 ASR 并行：总延迟取 max 而非累加（见上文架构图）。
• 投机式 LLM 预生成（speculative generation）：用户疑似说完（概率 >0.5）就把当前转写送 LLM 开始生成；判停确认 → 直接播放；用户继续说 → 丢弃重生成。多花 token 钱换数百 ms 延迟消失，Cresta 等生产系统标准做法。
• TTS 预热与首包优化：连接保活、音色预加载；LLM 流式输出按首句切分立即送 TTS。
• 上下文预加载：通话建立时就把用户画像/工单历史灌进 prompt cache，判停后 LLM 首 token 更快。

③ 感知延迟优化（降「体感」延迟）纯策略代码

• 思考语填充（thinking phrases）：判停确认后立即播「嗯，我看一下啊」，掩盖 LLM+TTS 生成时间；按场景配词并随机化，否则机械感暴露。
• Backchannel 主动附和：EOU 输出 Incomplete 时不只是「继续等」，还可以是「该附和了」——在用户长陈述的未结束停顿处插入轻量「嗯」「好的」。
• 渐进式响应：先播确定性部分（「好的，帮您查询…」），后台同时生成完整答案。

④ 打断（barge-in）与全双工停得住

• AEC 回声消除是前提：没有 AEC，判停/VAD 会被 AI 自己的播报声触发，一切免谈。
• 语义打断判别：「嗯嗯」是附和不该停，「等一下」才该停——复用 EOU 三分类思路做打断分类器。
• 打断后状态对齐：TTS 按词对齐时间戳，把「实际已播出的半句话」写回 LLM 上下文，否则 LLM 以为自己说完了，后续对话错位。
• 误抢话恢复（repair）：AI 已开口但用户继续说 → 立即停播、新旧音频合并重转写、丢弃已生成回复重推理。快速认错比不犯错更容易实现。

⑤ 电话信道特有工程三场景直接相关

• 8kHz 窄带适配：电话是 8kHz，Smart Turn 等多为 16kHz 训练——上采样不等于信息恢复，必须用真实电话录音微调/评测，否则实验室指标全失真。
• 网络抖动与丢包：SIP/RTP 丢包造成假静音 → VAD 前加抖动缓冲，丢包段不计入静音时长。
• DTMF 兜底：卡号/身份证录入提供按键输入 fallback，从根上绕开「报数字判停」难题。
• 外呼接通判别：彩铃、语音信箱、「您好哪位？」的开场判别本质也是话轮问题，需单独的 answering machine detection。

⑥ 数据闭环与可观测性（长期竞争力）越用越准

• 三个核心线上指标：误切断率（代理指标 = 用户被打断后重述同内容的比例，ASR 文本相似度自动挖掘）、响应延迟 P50/P95（末音节→AI 首包音频）、抢话率（AI 开口后 500ms 内用户仍在说的比例）。
• 失败样本自动回流：线上误切断录音段自动进标注队列 → 微调集。Smart Turn 全开训练码的价值在这里兑现：你的坏例就是你的护城河。
• 自建中文评测集：按 eot-bench 方法论用自己业务真实录音（含思考停顿/报数字/方言）建测试集，每次调参换模型跑回归；全链路用 call_id / turn_id 关联 trace，坏例可精确定位到判停/ASR/LLM。