爱诗-视频对口型模型支持输入 视频 和 音频 (或 TTS 文本),生成与音频同步的对口型视频。
服务开通
- 前往阿里云百炼控制台,搜索 PixVerse,找到 PixVerse 模型卡片,单击立即开通;
- 在弹窗内确认开通及授权。
适用范围
为确保调用成功,请务必保证模型、Endpoint URL 和 API Key 均属于同一地域。跨地域调用将会失败。
- 选择模型:确认模型所属的地域。
- 选择 URL:选择对应的地域 Endpoint URL。
- 配置 API Key:选择地域并获取与配置 API Key,再配置API Key到环境变量。
本文的视频对口型示例适用于华北2(北京)地域。
HTTP调用
由于视频对口型任务耗时较长(通常为1-5分钟),API采用异步调用。整个流程包含 "创建任务 -> 轮询获取" 两个核心步骤,具体如下:
步骤1:创建任务获取任务ID
北京地域:POST https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis
调用时请将{WorkspaceId}替换为真实的业务空间ID。
- 创建成功后,使用接口返回的
task_id查询结果,task_id 有效期为 24 小时。请勿重复创建任务,轮询获取即可。 - 新手指引请参见Postman。
请求参数请求头(Headers)Content-Typestring(必选)请求内容类型。此参数必须设置为application/json。Authorizationstring(必选)请求身份认证。接口使用阿里云百炼API Key进行身份认证。示例值:Bearer sk-xxxx。X-DashScope-Asyncstring(必选)异步处理配置参数。HTTP请求只支持异步,必须设置为enable。请求体(Request Body)modelstring (必选)模型名称。固定值:pixverse/pixverse-lipsync。input object (必选)输入的基本信息,包括人脸视频和音频来源。
属性 media array (必选)媒体资源列表。必须包含一个 video_url 类型的视频,以及音频来源(二选一):
元素属性 type string (必选)媒体类型标识符。取值范围:
string (条件必选)当 type 为 video_url 或 audio_url 时必填。媒体资源的 URL 地址。
string (条件必选)当 type 为 lip_sync_tts_speaker_id 时必填。TTS 音色 ID。取值为 auto 时随机选择音色,取值为数字字符串时按音色 ID 指定。支持的取值见下表。
音色取值表
string (条件必选)当 type 为 lip_sync_tts_content 时必填。需要驱动口型的文本内容,支持中英文,不超过 200 字(UTF-8 编码)。object (可选)视频生成参数。如设置是否添加水印等。
属性 watermark boolean (可选)是否添加水印标识,水印位于视频右下角,文案固定为"AI生成"。
|
传入视频和音频文件,生成对口型视频。 |
步骤2:根据任务ID查询结果
北京地域:GET https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/tasks/{task_id}
请求参数请求头(Headers)Authorizationstring(必选)请求身份认证。接口使用阿里云百炼API Key进行身份认证。示例值:Bearer sk-xxxx。URL路径参数(Path parameters)task_idstring(必选)任务ID。 |
将 {task_id}完整替换为上一步接口返回的task_id的值。task_id查询有效期为24小时,并请将{WorkspaceId}替换为真实的业务空间ID。 |
响应参数outputobject任务输出信息。
属性 task_id string任务ID。查询有效期24小时。task_status string任务状态。
枚举值
string任务提交时间。格式为 YYYY-MM-DD HH:mm:ss.SSS。scheduled_time string任务执行时间。格式为 YYYY-MM-DD HH:mm:ss.SSS。end_time string任务完成时间。格式为 YYYY-MM-DD HH:mm:ss.SSS。video_urlstring视频URL。仅在 task_status 为 SUCCEEDED 时返回。视频格式为MP4(H.264 编码)。视频链接暂无过期时间,但不建议将其作为长期存储,请及时下载。orig_prompt string原始输入的prompt,对应请求参数prompt。codestring请求失败的错误码。请求成功时不会返回此参数,详情请参见错误码。messagestring请求失败的详细信息。请求成功时不会返回此参数,详情请参见错误码。object输出信息统计。只对成功的结果计数。
属性 duration integer计费时长(秒)。音频驱动方式为音频时长向上取整;TTS 方式为文本字节数(UTF-8)÷ 15 向上取整。size string输出视频的分辨率。fps integer输出视频的帧率。SR string输出视频的分辨率档位。video_count integer视频数量,固定为 1。 |
|