本文档以千问模型的部署为例,使用 API(HTTP)调用方式帮助您完成阿里云百炼模型部署的全流程操作,包括部署、查询、推理、删除及权限排查。
前提条件
- 您已经完整阅读了模型部署,熟悉阿里云百炼平台模型部署支持的模型和基本步骤。
- 您需要已获取与配置 API Key并配置API Key到环境变量。示例代码中的
DASHSCOPE_API_KEY请替换为您自己的百炼 API Key;若使用 dashscope CLI,还需将DASHSCOPE_HTTP_BASE_URL替换为您获取的 API Host。
1. 部署模型
下面的命令展示如何创建专属服务。其中,按 Token 计费的示例使用已经调优好的自定义模型qwen3-8b-ft-202511132025-0260,创建一个专属服务qwen3-8b-ft-202511132025-0260;按预置吞吐和按模型单元的示例使用预置模型。
获取自定义模型 ID 的方法:前往百炼控制台-模型调优,点击需要部署的任务名称 -> 产出 -> 点击蓝色字体的模型名称,进入我的模型页面,在模型基本信息区域可查看模型 ID。
使用模型 ID作为输入的model_name参数,即可使用 API 部署该模型。
- 按预置吞吐(PTU)计费
- 按模型单元的使用时长计费
- 按模型 Token 使用量计费
- dashscope CLI
执行以下部署命令后,即便您还没有调用模型,模型部署服务仍将在部署成功后开始计费。建议您先确认服务计费规则,再执行部署命令。
deployed_model为专属服务的唯一ID,后续查询、删除等接口 path 中的标识请使用该deployed_model值(非请求参数中的name)。
2. 查询服务状态
通过以下命令查询指定专属服务的详细信息:
RUNNING时,服务部署完成。
3. 执行推理请求
若首次使用DashScope SDK,请参考安装SDK。请确保 API Key 所在的业务空间与模型部署所在的业务空间相同。
model 参数取值应为模型部署成功后的模型 code,请前往专属部署控制台(北京)获取。
推理参数对齐
百炼推理引擎的参数默认值可能与本地推理框架不同。为对齐 vLLM 默认值,建议调用时参考下表设置参数;使用 SGLang 等其他框架请参考对应文档调整。
参数名称 | 推荐值(对应 vLLM 默认值) |
|---|---|
temperature | 取值范围 [0, 2),设置为 1.0 等同于 vLLM 引擎默认值。 |
top_p | 取值范围 (0, 1.0],设置为 1.0 等同于 vLLM 引擎默认值。 |
top_k | 取值为 None 或大于 100 时不启用 top_k 策略,仅 top_p 生效;设置为 99 不支持全采样,接近 vLLM 默认值 0(全采样)。 |
presence_penalty | 取值范围 [-2.0, 2.0],设置为 0 等同于 vLLM 引擎默认值。 |
repetition_penalty(DashScope 协议) | 提高可降低生成重复度,1.0 表示不惩罚;取值范围大于 0,设置为 1.0 等同于 vLLM 引擎默认值。 |
4. 删除专属服务
不再使用的专属服务,可以通过下面的命令删除:
权限不足排查
模型部署过程中如遇权限不足报错,根据部署方式分两种排查路径:
控制台部署
- 如果显示"缺少该模块的权限",请确保您的账号在该业务空间的权限管理页面中拥有模型部署-操作权限。 如果无法正常操作,请联系您的组织或 IT 管理员添加相关权限或代为检查权限问题。
-
如果部署时报错"xx业务空间没有部署xx模型的权限",请前往百炼的业务空间管理页面,为对应业务空间添加对应模型的部署权限。
API 调用报错:
Workspace xxx does not have deployment privilege for model xxxx。
如果提示权限不足,请联系您的组织或 IT 管理员添加相关权限或代为操作。
API 部署
在使用 API 进行模型部署时,需要确保:
-
API Key 的归属业务空间拥有管理该模型的权限。请前往百炼的业务空间管理页面,检查对应业务空间的模型部署权限设置。
API 调用报错:
在对应业务空间的操作列,单击模型权限流控设置。 在模型列表中找到目标模型,查看模型部署列的授权状态。若显示未授权,单击操作列的编辑进行授权。 如果提示权限不足,请联系您的组织或 IT 管理员添加相关权限或代为操作。Workspace xxx does not have deployment privilege for model xxxx。 -
API Key 的归属账号在归属业务空间中拥有操作权限。请前往百炼控制台,点击左下角的业务空间,切换到对应业务空间,再点击
检查对应业务空间的模型部署权限设置。
API 调用报错:
在左侧导航栏点击权限管理,确认用户列表中包含 API Key 的归属账号(类型为主账号)。 如果提示权限不足,请联系您的组织或 IT 管理员添加相关权限或代为操作。Workspace access denied。