EOU

EOU 选型调研 · 东南亚 + 南美语种

← 返回导航

目标语种下的 EOU 模型选型结论

业务范围:东南亚(印尼语 id / 越南语 vi / 泰语 th / 马来语 ms / 菲律宾语 tl,视业务或含缅甸语 my、高棉语 km)+ 南美(拉美西班牙语 es-419 / 巴西葡萄牙语 pt-BR)。

一句话结论:南美两语种(西/葡)所有主流方案全覆盖、无风险;东南亚出现明显断层——印尼语、越南语选 Smart Turn v3 开源即用;泰语、马来语、菲律宾语没有任何现成开源 EOU 模型,只能「STT 内置判停(Soniox 等)过渡 + 用 Smart Turn 全开源训练管线自训补齐」。

编制日期 2026-07-29(2026-07-30 二轮深化:新增泰马菲自训数据清单,信源扩至 12 处)| 信源:官方文档 / GitHub / HuggingFace / arXiv / 行业媒体,均经 2+ 独立信源交叉验证

▦核心产出:语种 × 模型覆盖矩阵

↔ 表格可横向滑动 | ✓ 官方支持 · △ 间接/需验证 · ✗ 不支持 | 数据截至 2026-07

语种 Smart Turn v3.2
开源 · 23语种
LiveKit v1/v1-mini
半开 · 14语种
Deepgram Flux 多语版
商业 · 10语种
Soniox STT 内置判停
商业 · 60+语种
🇮🇩 印尼语 id
东南亚第一大市场
✓✓✗✓
🇻🇳 越南语 vi✓✗✗✓
🇹🇭 泰语 th
断层重灾区
✗✗(社区已在申请)✗✓
🇲🇾 马来语 ms
与印尼语近亲
✗(可试 id 模型迁移)✗✗✓
🇵🇭 菲律宾语 tl
Taglish 混说普遍
✗(en 部分兜底)△ 仅英语部分△ 仅英语✓
🇪🇸 拉美西语 es-419✓✓✓✓
🇧🇷 巴西葡语 pt-BR✓✓✓✓

矩阵背后的三个事实

  • 南美无忧:西语/葡语是所有模型的一线语种(训练数据充足),四条路线全通,按上一轮结论选即可。
  • 东南亚断层:泰/马来/菲三语在全部专用 EOU 模型中缺席。泰语学术界刚起步(arXiv 2510.04016 首个泰语 EOT 系统研究,2025-10,文本路线);LiveKit 社区有用户申请泰语支持尚无排期。
  • 60+ 语种的 Soniox 是唯一全覆盖,但它是 STT 内置判停路线——判停质量与 STT 深度耦合,且在 LiveKit eot-bench 上 600ms 预算误切断率 5.5%(次于 LiveKit v1 的 4.5%,数据来自 LiveKit 主导的基准,注意立场)。

➤分语种选型方案

方案 A · 印尼语 / 越南语 / 西语 / 葡语开源即用

  • 首选 Smart Turn v3.2(已在本机跑通链路):四语种官方支持,8MB CPU 33ms,BSD 协议可商用可微调,与语种无关的统一架构——一个模型服务多国业务,无需按语种切模型。
  • 印尼语可叠加 LiveKit v1-mini 做 A/B(其 14 语种含 id/es/pt),但越南语 LiveKit 不支持,统一栈意义下 Smart Turn 更优。
  • 上线前必做:用各语种真实电话录音(8kHz)各建 200+ 条测试集跑误切断率回归,TTS 样本只能做冒烟。

风险:低。这四个语种在 Smart Turn 训练集中有官方数据。

方案 B · 泰语 / 马来语 / 菲律宾语过渡 + 自训两步走

  • 第一步(上线用):STT 内置判停过渡——Soniox(60+ 语种全覆盖、带 endpoint detection)或 Speechmatics(end-of-utterance 特性 + Pipecat 已有官方集成 TurnDetectionMode)。接受判停与 STT 耦合的代价,先把业务跑起来。
  • 第二步(三个月内):用 Smart Turn 全开源训练管线自训小语种模型——train.py + 公开数据集格式全开放,仓库明确欢迎社区语种贡献;泰语可参考 arXiv 2510.04016 的数据构建方法。每语种千小时级对话音频即可起步,业务录音回流是最好的数据源。
  • 马来语捷径:与印尼语高度互通(同属马来语族),先用 Smart Turn 的 id 模型直接跑马来语测试集,若误切断率可接受则零成本覆盖。
  • 菲律宾语注意:Taglish(他加禄+英语混说)普遍,纯 en 模型对纯他加禄句尾判断不可靠,测试集必须包含混说样本。

风险:中。过渡期判停体验依赖 STT 厂商;自训需要数据积累但换来长期自主。

方案 C · 兜底架构(与语种无关)必配

  • 沿用工程篇六层手段:置信度分级等待 + 对话状态条件化 + 最大等待兜底在任何语种下都有效——EOU 模型缺位的语种,把端点策略调保守(等待窗口放宽至 800ms-1s)也能上线,只是体验降级而非不可用。
  • 统一评测:所有语种共用一套 eot-bench 式回归框架,指标口径一致(300/600ms 预算下误切断率),新语种模型上线前过同一道门。

方案 B 附录 · 泰/马来/菲自训数据来源清单二轮深化新增

  • SEACrowd(EMNLP 2024,被引 27+):东南亚多语种多模态数据中枢,聚合并标准化散落的 SEA 语种数据集(含 Common Voice SEA 子集镜像)——自训选数据的第一入口;其 SEADialogues 对话数据集可补对话体样本。
  • Mozilla Common Voice:开放授权多语种朗读语料(泰/马来/他加禄均有子集,体量分层);注意朗读体与对话体的韵律差异,EOU 训练只能作预训练/增广,不能作主料。
  • FLEURS:102 语种平行语料(含目标三语),适合做语种门禁评测集;但 arXiv 2506.17525 审计提示 Common Voice/FLEURS 存在标注质量问题,用前抽样人工核验。
  • GigaSpeech 2(ACL 2025):泰语在列(另含印尼/越),3 万小时级无监督音频 + 全开源数据管线——泰语 EOU 自训的音频底料首选,配合 arXiv 2510.04016 的泰语 EOT 数据构建方法。
  • 业务录音回流(最高价值):真实 8kHz 电话对话是唯一完全匹配分布的数据——但必须在录音告知/同意范围内明示“用于模型训练”(合规要求见质检合规与 Agent 安全报告);每语种千小时级即可起步,配 Smart Turn 全开源训练管线(train.py)。
  • 菲律宾特例:Taglish 混说样本公开语料极少,业务回流几乎是唯一途径;冷启动阶段可用双语 TTS 合成混说样本做冒烟,但上线门禁必须真实样本。

优先级:业务录音回流 > GigaSpeech 2(泰) > SEACrowd 聚合集 > Common Voice/FLEURS(预训练/评测用)。

◈选型决策速查

业务语种组合推荐方案理由
只做南美(es + pt)Smart Turn v3.2 开源自部署 推荐全覆盖 + 已跑通 + 零 API 成本,高并发外呼成本最优
印尼 + 越南 + 南美Smart Turn v3.2 统一栈四语种一个模型,运维最简
含泰 / 马来 / 菲Soniox/Speechmatics 判停过渡 → Smart Turn 自训唯一现实路径;马来语先试 id 模型迁移
全托管不想自维护LiveKit Cloud v1(限 14 语种)或 Soniox注意:越/泰/马来在 LiveKit 缺位,覆盖优先则 Soniox

与已跑通链路的衔接

本机 smart-turn 仓库(venv + v3.2-cpu.onnx + 21 条 pytest)可直接复用为多语种评测台:用 macOS say 的多语种音色(如 Damayanti 印尼语、Kanya 泰语、Linh 越南语、Paulina 西语、Luciana 巴西葡语)生成各语种冒烟样本,跑 predict.py 即可先验证「官方支持语种真的可用、缺位语种差多少」,再决定过渡方案的激进程度。

↗来源链接