通过 WebSocket 使用 DashScope Python SDK 调用 Qwen-TTS-Realtime。
前提条件
DashScope Python SDK 版本需要不低于2.0.1。
快速开始
请求参数
下述请求参数可以通过client.audio.realtime的connect方法设置。
参数 | 类型 | 是否必须 | 说明 |
|---|---|---|---|
model | str | 是 | 模型名称。参见支持的模型。 |
ws_url | str | 否 | 会话端点。缺省时由Client构造参数 |
update_session方法配置(具名参数直接传入,其余参数透传至session.update事件的session对象)。
参数 | 类型 | 是否必须 | 说明 |
|---|---|---|---|
voice | str | 是 | 语音合成所使用的音色。参见Qwen-TTS音色列表。 |
language_type | str | 否 | 指定合成音频的语种,默认为
|
mode | str | 否 | 交互模式,可选值:
|
response_format | str | 否 | 模型输出音频的格式。 支持的格式:
|
sample_rate | int | 否 | 模型输出音频的采样率(Hz)。 支持的采样率:
|
speech_rate | float | 否 | 音频的语速。1.0为正常语速,小于1.0为慢速,大于1.0为快速。 默认值:1.0。 取值范围:[0.5, 2.0]。 |
volume | int | 否 | 音频的音量。 取值范围:[0, 100]。 |
pitch_rate | float | 否 | 合成音频的语调。 默认值:1.0。 取值范围:[0.5, 2.0]。 |
bit_rate | int | 否 |
接口参考
会话(RealtimeSession)
实时语音合成会话通过client.audio.realtime.connect(model=...)创建,进入with上下文时自动建立连接(也可调用会话的connect()方法手动建立)。
| 方法签名 | 服务端响应事件(通过events()迭代下发) | 说明 |
|---|---|---|
session.created会话已创建session.updated 会话配置已更新 | 和服务端创建连接。进入with上下文时自动调用。 | |
session.updated会话配置已更新 | 更新本次会话交互的默认配置。参数配置请参考《请求参数》章节。在您建立链接,服务端会及时返回用于此会话的默认输出输入配置。如果您需要更新默认会话配置,我们也推荐您总是在建立链接后即刻调用此接口。服务端在收到session.update事件后,会进行参数校验,如果参数不合法则返回错误,否则更新服务端侧的会话配置。 | |
| 无 | 发送原始事件。文本输入通过input_text_buffer系列事件完成:将文本片段追加到云端输入文本缓冲区({"type": "input_text_buffer.append", "text": ...})。缓冲区是你可以写入并稍后提交的临时存储。
| |
input_text_buffer.cleared清空服务端收到的文本 | 发送{"type": "input_text_buffer.clear"}事件,删除当前云端缓冲区的文本。 | |
input_text_buffer.committed提交文本并触发语音合成response.output_item.added 响应时有新的输出内容response.content_part.added 新的输出内容添加到assistant message 项response.audio.delta 模型增量生成的音频response.audio.done 完成音频生成response.content_part.done Assistant message 的音频内容流式输出完成response.output_item.done Assistant message 的整个输出项流式传输完成response.done 响应完成 | 发送{"type": "input_text_buffer.commit"}事件,提交之前通过append添加到云端缓冲区的文本,并立刻合成所有文本。如果输入的文本缓冲区为空将产生错误。
| |
session.finished响应完成 | 发送session.finish事件,终止任务。之后继续消费events()直到session.finished事件。 | |
| 无 | 关闭连接。退出with上下文时自动调用。 | |
| 无 | 获取当前任务的session_id。 | |
| 无 | 获取最近一次response的response_id。 | |
| 无 | 获取首包音频延迟。 |
事件迭代(events())
服务端会通过事件的方式,将服务端响应事件和数据返回给客户端。在接收线程中迭代会话的events()处理服务端事件,session.finished事件后迭代结束;error事件会以DashScopeError异常抛出,可使用try/except捕获。
| 方法 | 参数 | 返回值 | 描述 |
|---|---|---|---|
event:服务端响应事件(dict)。 | 迭代器 | 包括对接口调用的回复响应和模型生成的文本和音频,session.finished事件后迭代结束。具体可以参考:服务端事件 | |
event:服务端响应事件(dict)。 | 事件或None | 读取一条服务端事件,正常关闭后返回None。 |