Qwen-Audio-ASR-Message 客户端事件参考,介绍 run-task、continue-task、finish-task 的字段、发送顺序及对应服务端事件。
事件交互流程
- 发送 run-task,收到 task-started 后开始发送音频。
- 持续发送音频,同时接收 result-generated。
- 任务运行期间,可通过 continue-task 更新对话上下文;音频仍通过音频通道发送。
- 音频发送完毕后发送 finish-task,继续接收结果,直到收到 task-finished;任务失败时返回 task-failed。
run-task 发送:WebSocket 使用二进制帧,AOQ 使用 Audio Track。连接、鉴权和音频传输方式请参见 WebSocket API 或 AOQ 接入。
run-task
建立连接后,客户端发送 run-task 事件,启动语音识别任务并设置模型、音频格式、采样率等参数。
headerobject必填actionstring必填指令类型,固定为
run-task。task_idstring必填客户端生成的任务 ID(UUID 格式),用于关联后续事件。
streamingstring必填固定为
duplex。payloadobject必填task_groupstring必填任务组,固定为
audio。taskstring必填任务类型,固定为
asr。functionstring必填功能类型。固定为
recognition。modelstring必填模型名称。
parametersobject必填语音识别参数。
formatstring必填音频格式。取值范围:
pcmwavmp3opusspeexaacamr
opus/speex:必须使用Ogg封装wav:必须为PCM编码amr:仅支持AMR-NB类型。
sample_rateinteger必填采样率(Hz)。仅支持
16000 Hz。disfluency_removal_enabledboolean可选是否过滤语气词并对输出结果进行润色,默认值为
false。设置为 true 时启用。intermediate_result_enabledboolean可选是否返回流式中间结果,默认值为
false。设置为 true 时返回流式中间结果。keep_dialectboolean可选是否保留方言表达,默认值为
false。false:将方言转写为普通话文本;true:保留方言表达。仅在最终结果(
sentence_end=true)生效,中间结果(sentence_end=false)不支持。vad_modelstring可选VAD 模型,默认值为
far_field_meeting_16k。near_meeting_16k:适用于说话人与麦克风距离较近的拾音场景,例如使用耳麦的客服通话、手持手机的 App 语音输入。far_field_meeting_16k:适用于说话人与麦克风距离较远的拾音场景,例如智能音箱语音交互、会议室集中拾音和车载免提语音交互。
max_sentence_silenceinteger可选VAD 断句静音阈值(ms)。当一段语音后的静音时长超过该阈值时,系统会判定该句子已结束。默认值:800。取值范围:[200, 6000]。
speech_noise_thresholdfloat可选语音与噪音的判定阈值,用于调整语音活动检测(VAD)的灵敏度。取值范围:[-1.0, 1.0]。取值说明:
- 取值越接近 -1:降低噪音判定阈值,噪音被识别为语音的概率增大,可能导致更多噪音被转写
- 取值越接近 +1:提高噪音判定阈值,语音被误判为噪音的概率增大,可能导致部分语音被过滤
- 调整前充分测试验证效果
- 根据实际音频环境小幅度调整(建议步长 0.1)
vocabulary_idstring可选vocabularyobject可选即时热词。以键值对形式传入,键为热词文本(
string),值为热词权重(integer),无需预先创建热词列表。权重取值范围为 [1, 5] 或 50:取 [1, 5] 时值越大模型越倾向输出该词;取 50 时为超级热词,召回率大幅提升,但超级热词数量最多不超过 50 个。适用于临时性、会话级别的热词优化。与预编译热词同时配置时,系统会合并两类热词;合并后超过 2000 个时,随机选择 2000 个使用。使用方法请参见即时热词。
language_hintsarray[string]可选待识别音频语种。无默认值,不设置时模型自动识别。最多支持设置 4 个值,超出时仅前 4 个生效。
点击查看支持的语言代码
点击查看支持的语言代码
zh: 中文en: 英文ja: 日语ko:韩语vi:越南语th:泰语id:印尼语ms:马来语tl:菲律宾语hi:印地语ar:阿拉伯语fr:法语de:德语es:西班牙语pt:葡萄牙语ru:俄语it:意大利语nl:荷兰语sv:瑞典语da:丹麦语fi:芬兰语no:挪威语el:希腊语pl:波兰语cs:捷克语hu:匈牙利语ro:罗马尼亚语bg:保加利亚语hr:克罗地亚语sk:斯洛伐克语
仅在最终结果(
sentence_end=true)生效,中间结果(sentence_end=false)不支持。heartbeatboolean可选是否启用心跳包。默认值:
false。true:在持续发送静音音频的情况下,可保持与服务端的连接不中断。false(默认):即使持续发送静音音频,连接也将在一定时间后因超时而断开。
inputobject必填输入对象。不携带上下文时传入
{}。contextarray[object]可选对话上下文,用于辅助识别、提升专有词汇的识别准确率。使用方法详见上下文增强。
- 消息数量:
input_text和text类型的上下文消息各最多 5 条,超出时保留最近的 5 条。 - 文本长度:每轮
user和assistant的text字段总长度不超过 400 个字符,每个字符计为 1;超出部分从末尾截断。 - 消息顺序:按对话轮次排列,每轮中
user(input_text类型)必须在对应的assistant(text类型)之前。
rolestring必填消息角色。取值范围:
user:前几轮用户语音的识别结果或领域相关的词表。assistant:前几轮大语言模型的回复内容。
contentarray[object]必填消息内容列表。
typestring必填内容类型。取值范围:
input_text:前几轮用户语音的识别结果或领域相关的词表(role为user时使用),需同时传入text字段。text:前几轮大语言模型的回复内容(role为assistant时使用),需同时传入text字段。
textstring必填文本内容。当
type 为 input_text 时,填入前几轮用户语音的识别结果或领域相关的词表;当 type 为 text 时,填入前几轮大语言模型的回复内容。- 基本请求
- 携带上下文
- 即时热词
请求:run-task
返回:task-started
continue-task
收到 task-started 后,客户端可在任务运行期间发送 continue-task 事件,更新对话上下文以辅助后续识别。
headerobject必填actionstring必填指令类型,固定为
continue-task。task_idstring必填客户端生成的任务 ID(UUID 格式),需与run-task事件中的
task_id 保持一致。streamingstring必填固定为
duplex。payloadobject必填inputobject必填contextarray[object]可选对话上下文,用于辅助识别、提升专有词汇的识别准确率。使用方法详见上下文增强。
- 消息数量:
input_text和text类型的上下文消息各最多 5 条,超出时保留最近的 5 条。 - 文本长度:每轮
user和assistant的text字段总长度不超过 400 个字符,每个字符计为 1;超出部分从末尾截断。 - 消息顺序:按对话轮次排列,每轮中
user(input_text类型)必须在对应的assistant(text类型)之前。
rolestring必填消息角色。取值范围:
user:前几轮用户语音的识别结果或领域相关的词表。assistant:前几轮大语言模型的回复内容。
contentarray[object]必填消息内容列表。
typestring必填内容类型。取值范围:
input_text:前几轮用户语音的识别结果或领域相关的词表(role为user时使用),需同时传入text字段。text:前几轮大语言模型的回复内容(role为assistant时使用),需同时传入text字段。
textstring必填文本内容。当
type 为 input_text 时,填入前几轮用户语音的识别结果或领域相关的词表;当 type 为 text 时,填入前几轮大语言模型的回复内容。以下示例先更新上下文,再继续发送音频;返回示例是随后收到的识别结果。
请求:continue-task
返回:result-generated
finish-task
所有音频数据发送完毕后,客户端发送 finish-task 事件,通知服务端音频发送完毕并请求结束任务。
headerobject必填actionstring必填指令类型,固定为
finish-task。task_idstring必填客户端生成的任务 ID(UUID 格式),需与run-task事件中的
task_id 保持一致。streamingstring必填固定为
duplex。payloadobject必填inputobject必填固定为
{}。请求:finish-task
返回:task-finished