为“语音输入 → 语音输出”场景(语音对话、语音翻译、同声传译等)选择模型。
从闭源模型迁移到百炼?
如果你正在使用 OpenAI 或 Gemini 的实时语音模型,可参考下表选择百炼对位模型。
闭源模型代表 | 百炼推荐 | |
|---|---|---|
高能力实时对话 | OpenAI GPT-Live 1、Gemini 3.8 Live |
|
成本敏感对话 | OpenAI GPT-Realtime-2.1 Mini |
|
实时翻译 / 同传 | Gemini 3.5 Live Translate (Preview) |
|
S2S(Speech-to-Speech)与Pipeline对比
构建语音应用有两种方式:
S2S | Pipeline(ASR + LLM + TTS) | |
|---|---|---|
延迟 | 低 -- 单模型流式处理 | 较高 -- 3个阶段串行处理 |
音频理解 | 端到端 -- 能感知语调、情绪并做出相应回应 | 先转文本再处理 -- 音频中的细微信息丢失 |
- 使用S2S:当交互式对话、低延迟和音频感知的回复是关键需求时。
- 使用Pipeline:当需要为每个阶段分别选择最优的ASR、LLM和TTS模型时。
实时还是文件模式?
- 实时:适用于语音助手、呼叫中心、同声传译等实时语音交互场景。音频流式输入,语音流式输出。
- 文件模式(HTTP):可以用延迟换取更好的效果,适用于视频配音、播客翻译、离线内容处理等场景。文件模式下还支持 Function Calling、联网搜索、思考模式、视频上下文等附带能力(详见下方“S2S 单模型的附带能力”)。
按场景选模型(S2S 单模型路线)
以下场景均针对 S2S 单模型路线。Pipeline 路线请按上述链接分别在 ASR / LLM / TTS 文档中选型。
场景 | 推荐模型 | API |
|---|---|---|
实时音视频对话 | Realtime API | |
语音助手 / 客服对话 |
| Realtime API |
成本敏感的对话 |
| Realtime API |
同声传译 / 直播翻译 |
| Realtime API |
视频配音 / 播客翻译 |
| Chat Completions |
语义 VAD 语音助手 / 智能客服(支持 Function Calling) |
| Realtime API |
S2S 单模型的附带能力
以下介绍语音交互中的工具调用、联网搜索及文本推理能力。
Function Calling
根据音视频内容查询知识库、查询日程或触发工作流,可使用 Qwen3.8-Omni-Flash-Realtime、Qwen-Audio Realtime。
联网搜索
需要检索实时信息并生成语音回复时,实时对话可使用 Qwen3.8-Omni-Flash-Realtime 或 Qwen3.5-Omni-Realtime;文件调用可使用 Qwen3.5-Omni(Chat Completions,Plus 和 Flash 系列)。模型自主决定是否搜索。Qwen-Audio Realtime 3.0 Plus/Flash 和 3.1 Plus 也支持联网搜索,通过 enable_search 开启,不能与 Function Calling 同时启用。
思考模式
翻译
以下模型系列均支持语音翻译:
- Qwen3.8-Livetranslate:支持 60 种源语言和 29 种语言的语音输出,支持音频与图像输入。详见模型信息。
- Qwen3.5-Livetranslate:支持 60 种语言互译,其中 29 种支持音频+文本输出、31 种仅支持文本输出,覆盖中文、英语、法语、德语、俄语、日语、韩语、西班牙语、葡萄牙语、阿拉伯语等主流语种。
- Qwen3-Livetranslate:支持18种语言 + 5种中文方言,约3秒延迟,开箱即用。文件模式支持输入视频以获得上下文感知的翻译精度。其中7种语言仅输出文本(不输出语音)。
- Qwen3.8-Omni-Flash-Realtime:支持实时语音翻译,语音生成语种与 Qwen3.5-Omni-Realtime 一致,支持36种语种和方言,各音色支持范围见音色列表。
- Qwen3.5-Omni:支持29种输出语言 + 7种中文方言。优秀的音视频理解能力和联网搜索。可通过系统提示词注入术语和领域上下文。支持实时和文件模式。
- Qwen3-Omni-Flash:支持11种输出语言 + 8种中文方言。可通过系统提示词注入术语和领域上下文。支持实时和文件模式。
支持的语言
支持的语言
语言 | Qwen3.8 / 3.5-Livetranslate | Qwen3-Livetranslate | Qwen3.5-Omni | Qwen3-Omni-Flash |
|---|---|---|---|---|
英语 | 支持 | 支持 | 支持 | 支持 |
中文(普通话) | 支持 | 支持 | 支持 | 支持 |
粤语 | 仅文本 | 支持 | 支持 | 支持 |
四川话 | 支持 | 支持 | 支持 | 支持 |
上海话 | 支持 | 支持 | -- | 支持 |
北京话 | 支持 | 支持 | 支持 | 支持 |
天津话 | 支持 | 支持 | 支持 | 支持 |
南京话 | -- | -- | 支持 | 支持 |
陕西话 | -- | -- | 支持 | 支持 |
闽南语 | -- | -- | 支持 | 支持 |
法语 | 支持 | 支持 | 支持 | 支持 |
德语 | 支持 | 支持 | 支持 | 支持 |
俄语 | 支持 | 支持 | 支持 | 支持 |
意大利语 | 支持 | 支持 | 支持 | 支持 |
西班牙语 | 支持 | 支持 | 支持 | 支持 |
葡萄牙语 | 支持 | 支持 | 支持 | 支持 |
日语 | 支持 | 支持 | 支持 | 支持 |
韩语 | 支持 | 支持 | 支持 | 支持 |
泰语 | 支持 | 仅文本 | 支持 | 支持 |
印尼语 | 支持 | 仅文本 | 支持 | -- |
越南语 | 支持 | 仅文本 | 支持 | -- |
阿拉伯语 | 支持 | 仅文本 | 支持 | -- |
印地语 | 支持 | 仅文本 | 支持 | -- |
土耳其语 | 支持 | 仅文本 | 支持 | -- |
芬兰语 | 支持 | -- | 支持 | -- |
波兰语 | 支持 | -- | 支持 | -- |
荷兰语 | 支持 | -- | 支持 | -- |
捷克语 | 支持 | -- | 支持 | -- |
乌尔都语 | 支持 | -- | 支持 | -- |
他加禄语 | 支持 | -- | 支持 | -- |
瑞典语 | 支持 | -- | 支持 | -- |
丹麦语 | 支持 | -- | 支持 | -- |
希伯来语 | 支持 | -- | 支持 | -- |
冰岛语 | 支持 | -- | 支持 | -- |
马来语 | 支持 | -- | 支持 | -- |
挪威语 | 支持 | -- | 支持 | -- |
波斯语 | 支持 | -- | 支持 | -- |
希腊语 | 仅文本 | 仅文本 | -- | -- |
南非荷兰语 | 仅文本 | -- | -- | -- |
阿斯图里亚斯语 | 仅文本 | -- | -- | -- |
白俄罗斯语 | 仅文本 | -- | -- | -- |
保加利亚语 | 仅文本 | -- | -- | -- |
孟加拉语 | 仅文本 | -- | -- | -- |
波斯尼亚语 | 仅文本 | -- | -- | -- |
加泰罗尼亚语 | 仅文本 | -- | -- | -- |
宿务语 | 仅文本 | -- | -- | -- |
爱沙尼亚语 | 仅文本 | -- | -- | -- |
加利西亚语 | 仅文本 | -- | -- | -- |
古吉拉特语 | 仅文本 | -- | -- | -- |
克罗地亚语 | 仅文本 | -- | -- | -- |
匈牙利语 | 仅文本 | -- | -- | -- |
爪哇语 | 仅文本 | -- | -- | -- |
哈萨克语 | 仅文本 | -- | -- | -- |
卡纳达语 | 仅文本 | -- | -- | -- |
柯尔克孜语 | 仅文本 | -- | -- | -- |
拉脱维亚语 | 仅文本 | -- | -- | -- |
马其顿语 | 仅文本 | -- | -- | -- |
马拉雅拉姆语 | 仅文本 | -- | -- | -- |
马拉地语 | 仅文本 | -- | -- | -- |
旁遮普语 | 仅文本 | -- | -- | -- |
罗马尼亚语 | 仅文本 | -- | -- | -- |
斯洛伐克语 | 仅文本 | -- | -- | -- |
斯洛文尼亚语 | 仅文本 | -- | -- | -- |
斯瓦希里语 | 仅文本 | -- | -- | -- |
塔吉克语 | 仅文本 | -- | -- | -- |
阿塞拜疆语 | 仅文本 | -- | -- | -- |
乌克兰语 | 仅文本 | -- | -- | -- |
推荐模型
下表列出每个系列的常用入口模型。如需锁定特定日期版本(用于版本回归或稳定性需求),请见下方“所有模型”。
模型 | API | 适用场景 |
|---|---|---|
qwen3.8-omni-flash-realtime | Realtime API | 实时音视频对话 |
qwen-audio-3.1-realtime-plus / qwen-audio-3.0-realtime-flash | Realtime API | 实时语音对话 |
qwen3.5-omni-plus / qwen3.5-omni-flash | Chat Completions | 离线语音输出 |
qwen3.8-livetranslate-flash-realtime | Realtime API | 实时翻译 |
qwen3-livetranslate-flash | Chat Completions | 音视频文件翻译 |
所有模型
Qwen-Audio
模型 | API | 输入 | Function Calling | 联网搜索 | 思考模式 | 翻译 |
|---|---|---|---|---|---|---|
| Realtime API | 音频、文本 | 支持 | 支持 | -- | -- |
| Realtime API | 音频、文本 | 支持 | 支持 | -- | -- |
| Realtime API | 音频、文本 | 支持 | 支持 | -- | -- |
Qwen3.8-Omni
模型 | API | 输入 | Function Calling | 联网搜索 | 思考模式 |
|---|---|---|---|---|---|
| Realtime API | 文本、音频、图片、视频 | 支持 | 支持 | -- |
Qwen3.5-Omni
模型 | API | 输入 | Function Calling | 联网搜索 | 思考模式 |
|---|---|---|---|---|---|
| Realtime API | 文本、音频、图片、视频 | 支持 | 支持 | -- |
| Realtime API | 文本、音频、图片、视频 | 支持 | 支持 | -- |
| Chat Completions | 文本、音频、图片、视频 | 支持(北京,文本输出) | 支持 | -- |
| Chat Completions | 文本、音频、图片、视频 | 支持(北京,文本输出) | 支持 | -- |
| Realtime API | 文本、音频、图片、视频 | 支持 | 支持 | -- |
| Realtime API | 文本、音频、图片、视频 | 支持 | 支持 | -- |
| Chat Completions | 文本、音频、图片、视频 | 支持(北京,文本输出) | 支持 | -- |
| Chat Completions | 文本、音频、图片、视频 | 支持(北京,文本输出) | 支持 | -- |
Qwen3-Omni
模型 | API | 输入 | Function Calling | 联网搜索 | 思考模式 |
|---|---|---|---|---|---|
| WebSocket | 文本、音频、图片、视频 | -- | -- | -- |
| Chat Completions | 文本、音频、图片、视频 | 支持 | -- | 支持 |
Qwen3.8-Livetranslate
模型 | API | 输入 | 语言数 |
|---|---|---|---|
Realtime API | 音频、图片 | 60 |
Qwen3.5-Livetranslate
模型 | API | 输入 | 语言数 |
|---|---|---|---|
| Realtime API | 音频、图片 | 60 |
| Realtime API | 音频 | 60 |
Qwen3-Livetranslate
模型 | API | 输入 | 语言数 |
|---|---|---|---|
| Chat Completions | 音频、视频 | 18 |
| Chat Completions | 音频、视频 | 18 |
下一步
选定模型后,参考对应的调用文档:
- Qwen-Audio Realtime(实时语音对话)→ 实时语音对话(Qwen-Audio-Realtime)
- Qwen3.8-Omni-Flash-Realtime(实时)→ 实时(Qwen-Omni-Realtime)
- Qwen3.5-Omni(离线语音输出)→ 非实时(Qwen-Omni)
- Qwen3.8-Livetranslate / Qwen3.5-Livetranslate(实时)→ 实时语音/音视频翻译-千问
- Qwen3-Livetranslate(文件)→ 音视频文件翻译-千问