VA

语音 Agent 编排框架与端到端语音模型选型

← 返回调研中心

把 ASR / EOU / LLM / TTS 串起来的"骨架层"怎么选

此前的报告矩阵已覆盖 ASR、EOU、TTS、LLM 四个单点组件,本篇补上中心空洞:编排框架(开源)、语音 Agent 平台(商业)、端到端语音模型(S2S)三条路线的横评与决策,面向东南亚 + 拉美外呼/呼入业务。

一句话结论:自建生产平台选 LiveKit Agents(原生 SIP + 电话一等公民 + 最大插件面),快速原型/研究选 Pipecat(管线抽象最干净、Smart Turn 原生集成,与我们已跑通的 EOU 链路同门);商业平台只作对标参考(外呼看 Bland、质量看 Retell);S2S 端到端模型 2026 年仍不适合作为外呼主链路——工具调用可靠性、8kHz 电话音频适配、可控性、合规审计四方面全面落后级联,正确姿势是级联为主 + 半级联(S2S 听、TTS 说)做体验增强实验。

编制日期 2026-07-30 | 三轮迭代 | 信源:官方文档 / GitHub / 独立评测 / 行业分析,关键数据 2+ 信源交叉验证;带商业立场的信源已标注

▦全景:三条路线一张图

路线① 开源编排框架(自建,本篇 §2)
LiveKit Agents(11.4k★) Pipecat(13.4k★) TEN Framework(10.9k★) Vocode Bolna(印度市场特化)
路线② 商业语音 Agent 平台(托管,本篇 §3)
Retell AI(质量/延迟最优) Vapi(最灵活 BYO 组件) Bland AI(外呼特化) Synthflow(无代码)
路线③ 端到端语音模型 S2S(单模型,本篇 §4-5)
gpt-realtime-2.1 / mini Gemini Live Qwen3.5-Omni Realtime(泰/印尼/越可用) 豆包端到端(仅中英) MiniMax Realtime

GitHub 热度快照(2026-07-14,TECHSY 统计)

Pipecat 13,416★ > LiveKit Agents 11,356★ > TEN Framework 10,898★。三者均在万星以上且活跃迭代——热度不是差异点,设计哲学才是:Pipecat 是"管线"(frame processor 流水线),LiveKit 是"平台"(WebRTC 基础设施 + Agent 层),TEN 是"图"(跨语言节点图编排,Agora 支持)。

➤开源框架五强横评

↔ 表格可横向滑动 | 综合 thinnest.ai(注意:其商业产品建于 LiveKit 上,立场已校正)、Evalgent、Soniox wiki、各官方文档交叉核对

维度LiveKit AgentsPipecatTEN FrameworkVocodeBolna
协议 / 背书Apache 2.0 · LiveKit Inc(融资 $83M+)BSD-2 · Daily.coApache 2.0 · Agora 支持MIT · Vocode IncMIT · 印度团队
核心抽象WebRTC 房间 + Agent帧处理器管线跨语言节点图流式 STT→LLM→TTS 封装意见化外呼工作流
语言Python 主 / Node 次PythonPython / C++ / GoPython / TypeScriptPython
电话 / SIP原生 SIP + 自有号码产品,一等公民△ 走 Twilio(多经 Pipecat Cloud)△ 插件Twilio / Vonage 一等(含外呼、转接、DTMF)Twilio / Plivo / Exotel(印度线路)
话轮检测可配置 VAD 阈值 + 自研 turn detector 模型Smart Turn(语义判停)原生集成自带 VAD / Turn Detection 子项目基础 VAD基础
托管选项LiveKit Cloud(Agent 会话约 $0.01/min,SIP 约 $0.003–0.004/min)Pipecat Cloud(2026 GA,多区域 + Krisp 降噪)仅自托管Vocode Cloud仅自托管
多模态(视频/视觉)✓✓✓语音为主语音为主
插件生态最大(全主流 STT/LLM/TTS)大较少较少少(Sarvam/印度栈特化)
成熟度最高高较新,生产案例少近一年动能下降中,规模化验证少

Pipecat vs LiveKit:外呼业务视角的关键差异核心抉择

  • 判停哲学不同:Pipecat 原生集成 Smart Turn 语义判停(据 Evalgent 汇总,较纯 VAD 减少约 30% 抢话);LiveKit 走可配置 VAD 阈值 + 自研 turn detector。我们已本地跑通 smart-turn v3.2 并完成东南亚语种评估(见 EOU 系列报告),选 Pipecat 可直接复用这条链路。
  • 电话能力差距明显:LiveKit 原生双向 SIP + 自有号码产品,电话是内建路径;Pipecat 电话依赖 Twilio(多经 Pipecat Cloud 商业托管)。大规模外呼要对接自有 SIP 线路(我们已调研的东南亚/拉美线路商),LiveKit 的原生 SIP 是决定性优势。
  • 延迟同级:两者都能做到 500ms 内、目标 300ms 级;实际差异取决于判停调参与传输层,而非框架本身(Evalgent 结论,与 LiveKit 官方口径一致)。
  • 自托管成本:两者框架免费,规模化自托管可压到 $0.05/min 以内(不含线路),代价是自己扛基础设施、值班与延迟调优。

建议:原型阶段用 Pipecat(复用 smart-turn 资产,迭代最快);进入生产外呼、需要对接自有 SIP 线路时迁移或直接起 LiveKit Agents。两者组件模型相近,STT/LLM/TTS 供应商配置可平移。

信源立场提示

thinnest.ai 的五强对比写得最全,但其商业产品构建在 LiveKit 上、面向印度市场卖托管——它对 LiveKit 的"最佳生产"评级与对自托管成本(6–9 个月工程量)的渲染需打折看待;Evalgent 卖语音 Agent 测试服务,其"框架不解决测试"的结论同样有立场。本篇仅采用两者的事实性参数(协议、SIP 能力、托管定价),评级结论已用官方文档交叉校正。

◈商业语音 Agent 平台四强

↔ 数据来自 tested.media 2026-03 实测(每平台 500 通生产通话 + 200 人盲测;该站为代理商,绝对值仅供对标,相对排序可参考)

维度Retell AIVapiBland AISynthflow
定位代码优先 · 呼入质量代码优先 · 最灵活(BYO ASR/LLM/TTS)外呼特化 · 拨号器最强无代码 · 最快上线
单价区间$0.07–0.18/min$0.05–0.20/min(平台费 $0.05 + 模型按成本价)$0.09–0.24/min(打包价;Build/Scale 档另收 $299/$499 月费)$0.13–0.20/min
中位延迟680ms720ms(可调优)850ms920ms
工具调用准确率99.2%98.5%96.0%97.0%
多语言9 种30+ 种4 种12 种
外呼拨号器基础基础品类最强 + 原生 SMS 组合基础
自托管✗部分✗✗

对我们业务的三个含义

  • 多语言即淘汰线:东南亚 + 拉美至少要覆盖印尼/越/泰/马来/菲 + 西/葡。四强中只有 Vapi(30+ 语言、BYO 组件)过线;Bland 仅 4 语直接出局,Retell 9 语勉强。这些平台本质是美国本土市场产品。
  • 成本对标:外呼规模场景(5,000 通/月)商业平台 $2,300–2,900/月;同量级自建级联栈模型成本约 $0.03–0.06/min。商业平台的差价买的是编排、电话与运维——量大后自建回本,这与我们 GPU 成本测算器的结论方向一致。
  • 用途定位:不建议把核心外呼业务放上这些平台(语种 + 数据出境 + 成本三重不合适),但 Vapi/Retell 值得开测试账号作为体验基准——他们的延迟调优(680ms 中位)代表托管路线的工程上限,是自建链路的对标靶子。

⇄S2S 端到端 vs 级联:九维对比

主要依据 LiveKit 官方架构指南(其同时销售两条路线的托管,立场相对中性),并与 arXiv 2603.05413(企业级实时语音 Agent 论文)、Coval 分析交叉验证

维度级联 STT→LLM→TTSS2S 端到端
上手速度△ 组件多、需编排✓ 一个模型搞定
延迟△ 需流式重叠调优后达标✓ 结构性优势(250–500ms)
话轮检测✓ 可自选/自训判停模型(Smart Turn 等)✗ 只能用内置,定制受限
语音自然度△ 靠 TTS,丢失语气信息✓ 听得见迟疑/情绪并回应
工具调用可靠性✓ 成熟文本 FC,准确率高✗ 音频路径 FC 更新、更弱,部分模型调用时静默阻塞
可控性 / 调试✓ 每层有文本可日志、可归因✗ 黑盒,音频进音频出
成本✓ 每层独立优化、可分级路由△ 按音频秒计费,随上下文膨胀
电话适配(8kHz G.711)✓ 可选电话优化 STT✗ 模型训练于 16–48kHz 网络音频,电话场景可靠性下降
合规 / 数据驻留✓ 可分区域选组件、文本层脱敏 PII✗ 集中于少数美国厂商,难以插入脱敏与审计

为什么外呼业务 2026 年仍应以级联为主

  1. 电话音频不匹配:外呼走 PSTN,8kHz G.711 编码,而 S2S 模型训练于高质量网络音频——这是结构性错配,LiveKit 官方明确提示电话部署首选级联 + 电话优化 STT。
  2. 工具调用是外呼刚需:查客户、记录处置结果、触发工作流全靠 FC。级联在干净文本上做决策;S2S 从音频直接决策,准确率与稳定性均落后(LiveKit、arXiv 2603.05413 一致结论)。
  3. 判停不能外包:我们在 EOU 系列报告已论证判停是体验核心,且东南亚语种需要自训补齐——S2S 内置判停无法定制,等于放弃这条已投入的能力线。
  4. 合规审计:拉美 LGPD / 东南亚各国数据法要求通话记录可审计,级联的文本中间层天然是审计点。

半级联(Hybrid):值得排期的中间态实验方向

  • S2S 听 + TTS 说:用 realtime 模型收音(保留听懂情绪/迟疑的能力),但输出文本、交给自选 TTS 发声——拿到情绪感知,保住品牌音色与输出可控(LiveKit Agents 已支持此配置)。
  • S2S + 独立 STT 并行:realtime 模型负责对话,旁路一条专用 STT 出精确带时间戳转写,满足质检与审计的硬需求。
  • 适合先在呼入客服(网络侧、音质高、语种可控)小流量灰度,外呼链路保持级联不动。

◎S2S 模型可用清单与语种适配

↔ 面向东南亚/拉美业务的关键筛选维度:语种覆盖 + Function Calling + 定价

模型语种覆盖Function Calling定价信号对我们的可用性
gpt-realtime-2.1
OpenAI · WebRTC/SIP/WS
多语种(Realtime 系 70+ 语言,含泰/印尼/越/西/葡;小语种质量需实测) ✓ 支持 MCP、非阻塞调用 $32/1M 音频输入 + $64/1M 输出 ≈ $0.05/min(基础口径);缓存命中输入降 99%;mini 版约 $0.016/min △ 呼入灰度可试;原生 SIP 接入是亮点,但数据出境需评估
Qwen3.5-Omni Realtime
阿里百炼 · WebSocket
113 种输入语种;29 种语音输出(含泰/印尼/越/马来/他加禄/西/葡) ✓ plus/flash-realtime 均支持(并支持联网搜索,二选一) flash 版走轻量价;另有 qwen-audio-3.0-realtime 专语音版(语义 VAD smart_turn + FC) ✓ 语种覆盖最贴合业务;新加坡区可用性需按 SEA/拉美 LLM 报告的区域结论复核
豆包端到端实时语音 3.0
火山引擎 Seeduplex · WS
仅中文、英语 △ 原生全双工、动态判停是亮点 按模式计费(对话式/播报式两种) ✗ 语种即淘汰:东南亚/拉美语种不支持,仅适合国内中文业务线
MiniMax Realtime API
Speech 2.6 生成链路
多语种 TTS 见长 △ 资料有限 端到端延迟宣称 <250ms △ 注意:MiniMax 无公开 ASR API(前期已核实),其 realtime 生态偏生成侧
Gemini Live
Google · WebSocket
多语种(Live Translate 支持 70+ 语言) ✓ 按 Vertex 区域定价 △ 参考 SEA/拉美 LLM 报告:新加坡 Vertex 可用性尚可,巴西侧需复核

成本细算警示(gpt-realtime 为例)

$0.05/min 是"基础口径":每轮对话会重复计入增长中的上下文,长通话未做缓存时实际成本可达基础口径的 2–5 倍。三个必做动作:① 系统提示词与工具定义字节级稳定以保命中缓存(缓存输入 $0.40/1M,降 99%);② 静音也计费——挂机检测、VAD 收音控制必须做;③ 逐通话记录 token 用量并告警,防止 Agent 对着语音信箱空转烧钱。这些工程纪律同样适用于国内厂商的按时长计费模式。

⚑第二轮补充:上线前的合成呼叫测试层

框架解决"能跑",不解决"跑得对"——2026 年已长出独立测试层

口音、抢话、背景噪声、边角流程会击穿任何框架搭出来的 Agent。行业已出现专门的合成呼叫测试平台:用仿真来电者(可配口音/人设/噪声)批量打电话给你的 Agent,按场景断言 + 指标阈值出回归报告。主要玩家:Hamming(企业级,自动生成场景 + 回放生产通话 + 50+ 指标,SOC 2)、Coval(快速仿真评测)、Cekura、Evalgent(五原语:Scenario/Profile/Metric/Evaluation/Review)、Braintrust/Roark(评测平台延伸)。

  • 对我们的落地方式:不必先买平台——用已有资产就能起步:qwen-bench 的 44 题四维度评测思路平移到语音层,soniox-bench 的多语种样本生成方法(macOS say + 真实录音回流)扩成"仿真来电者"语料,duplex-trace 做全链路时序归因。
  • 必测清单(综合各平台方法论):多语种口音 × 抢话打断 × 静音/背景音 × 工具调用失败注入 × 语音信箱误接 × 超长通话成本回归。
  • 回归门禁:每次改提示词/换模型/调判停参数,全量场景重跑——这与 LiveKit eot-bench 式 EOU 回归(EOU 报告结论)共用一道 CI 门。

✓选型决策速查

场景推荐路线理由
东南亚/拉美外呼主链路(生产)LiveKit Agents 级联自建 推荐原生 SIP 对接自有线路;判停/ASR/TTS 按语种自选(衔接 EOU/ASR/TTS 三篇报告结论);文本层可审计
原型验证 / 新场景实验Pipecat管线抽象最快;Smart Turn 同门直用;本机已有 smart-turn 资产
呼入客服体验增强实验半级联:Qwen3.5-Omni Realtime 听 + 自选 TTS 说语种覆盖贴合(泰/印尼/越/西/葡);FC 可用;输出可控
国内中文业务线豆包端到端 3.0 灰度原生全双工 + 动态判停,中文体验第一梯队;仅限中英
体验对标基准Vapi / Retell 测试账号托管路线工程上限参照(680ms 中位延迟、99.2% FC 准确率)
多 Agent 复杂图编排研究TEN Framework图模型表达力强;接受较新生态的粗糙度
上线前回归验证自建合成呼叫测试(qwen-bench/soniox-bench 方法平移),量大再评估 Hamming/Coval先零成本起步;平台价值在并发仿真与生产通话回放

与现有报告矩阵的衔接

本篇是"骨架",四肢在既有报告:判停选型见 EOU 多语种选型;ASR 见 开源 ASR 部署 与 asr-bench 看板;TTS 见 流式 TTS 全景;LLM 与区域可用性见 SEA/拉美大模型调研;线路对接见东南亚/拉美两篇线路调研。

↗来源链接