开源 ASR 权重模型选型与私有化部署

与云厂商 API 的参照系（SpeechIO 榜单，2025.01，46 个真实场景集）

• 微软 Azure 2.99% ｜ 喜马拉雅 3.35% ｜ 阿里云 3.40% ｜ 腾讯云 4.64% ｜ 讯飞 4.80% ｜ 百度 10.10%（全量 CER）
• 两套基准测试集不同不能逐格横比，但量级判断成立：FireRedASR2 / Qwen3-ASR 级别的开源模型在通用普通话场景不输腾讯云 API，与第一梯队（微软/阿里）差距 < 1 个百分点。
• 真正拉开差距的是困难场景：重口音方言对话（沪语对话 25-45%）、噪声直播、歌词——商业 API 一样崩，靠的是热词与领域定制缓解。

Reddit r/LocalLLaMA + 中文社区交叉印证

• Qwen3-ASR 被评价为「几乎每个方面都优于 Whisper-v3」；Whisper 在长音频上幻觉（凭空补词）明显，国产两模型幻觉率更低。
• Qwen3-ASR 流式长音频会随时间精度衰减，不适合超长连续流 —— 但离线质检按句切分喂入，正好绕开该缺陷。
• 输入长度硬限制：FireRedASR2-AED ≤ 60s（>200s 报位置编码错误）、FireRedASR2-LLM ≤ 40s、Qwen3-ASR 建议单段 ≤ 30s。离线质检必须先 VAD 切句，不能整通电话直接灌。
• FireRedASR2-LLM 开 FP16 会出现识别异常，官方 vLLM 示例用 float32，显存开销大（社区 issue #25 实测 32G 单卡 OOM）。

方案 A：FireRedASR2-AED 全家桶（质检推荐 — 自带 VAD+断句+标点+时间戳）

# 1. 环境（官方仅在 Ubuntu 22.04 测试过）
conda create --name fireredasr2s python=3.10 && conda activate fireredasr2s
git clone https://github.com/FireRedTeam/FireRedASR2S.git && cd FireRedASR2S
pip install -r requirements.txt
export PATH=$PWD/fireredasr2s/:$PATH && export PYTHONPATH=$PWD/:$PYTHONPATH

# 2. 下模型（国内走 ModelScope）
pip install -U modelscope
modelscope download --model xukaituo/FireRedASR2-AED --local_dir ./pretrained_models/FireRedASR2-AED
modelscope download --model xukaituo/FireRedVAD  --local_dir ./pretrained_models/FireRedVAD
modelscope download --model xukaituo/FireRedLID  --local_dir ./pretrained_models/FireRedLID
modelscope download --model xukaituo/FireRedPunc --local_dir ./pretrained_models/FireRedPunc

# 3. 音频统一转 16k 16bit 单声道
ffmpeg -i 通话录音.mp3 -ar 16000 -ac 1 -acodec pcm_s16le -f wav out.wav

# 4. 一行命令：VAD 切句 + 识别 + 标点 + 词级时间戳，输出 jsonl
fireredasr2s-cli --wav_paths "out.wav" --outdir output && cat output/result.jsonl

输出自带 句级时间戳 + 置信度 + 语种标签 + 词级时间戳，可直接入质检库。追求极致精度换 FireRedASR2-LLM：vllm serve allendou/FireRedASR2-LLM-vllm -tp=2 --dtype=float32（需双卡）。

方案 B：Qwen3-ASR-1.7B（单卡 + vLLM + OpenAI 兼容接口）

# 1. 环境（Linux 或 Windows WSL2）
uv venv --python 3.12 && source .venv/bin/activate
uv pip install -U "qwen-asr[vllm]" modelscope

# 2. 下模型
modelscope download --model Qwen/Qwen3-ASR-1.7B

# 3. 起服务（OpenAI 兼容，单卡 4090 即可）
qwen-asr-serve Qwen/Qwen3-ASR-1.7B --gpu-memory-utilization 0.8 --host 0.0.0.0 --port 8000

# 4. 调用：标准 /v1/chat/completions，content 里塞 audio_url 即可
curl -s http://localhost:8000/v1/chat/completions -H 'Content-Type: application/json' \
  -d '{"messages":[{"role":"user","content":[{"type":"audio_url","audio_url":{"url":"file:///path/out.wav"}}]}]}'

注意：Qwen3-ASR 不带 VAD/标点全家桶，长录音要自己先切片（Silero-VAD 或 FireRedVAD），单段超 30s 精度下降、易漏字——质检流水线上「切句」这步不能省。

三个关键判断

• 拉美无忧、东南亚分层：西/葡是 Whisper 高资源语种，开源直接可用；东南亚呈“印尼/越/泰可自建（GigaSpeech 2 路线）、马来/菲律宾（Taglish 混说）仍建议商业 API（Soniox 等，见 soniox-bench 验证管线）”的格局——与 EOU 报告的泰马菲断层结论同构。
• 榜单陷阱：HF Open ASR Leaderboard 以英语为主，Canary/Parakeet 名次靠前但不支持目标语种；多语种选型看 FLEURS/Common Voice 分语种指标与真实场景基准（arXiv 2606.28884），且注意公开多语种数据集本身有质量问题（arXiv 2506.17525 审计）。
• 电话 8k 仍是最大变量：上述模型均主训 16k 网络音频；外呼录音质检前用真实 8k 样本自测（asr-bench 框架 + 各语种 200+ 条），不要直接相信任何公开 WER。