本文档以千问模型的调优操作为例进行说明,通过 API (HTTP)和 命令行(Shell)两种方式,使用阿里云百炼提供的模型调优功能。模型调优包含模型微调(SFT)、继续预训练(CPT)、模型偏好训练(DPO)三种模型训练方式。
前提条件
- 已经完整阅读了模型调优简介,了解模型调优的基本概念、流程及数据格式要求。
- 已开通服务并获得API-KEY, 请参考获取与配置 API Key。
- 阿里云子账号(RAM用户)需被授予必要的调用、训练和部署权限。
上传调优文件
准备调优文件
SFT/DPO/CPT 各训练方式的数据格式规格、打包规则、大小与数量限制、API 上传配额详见调优数据上传规则。各训练方式支持的文件格式概览:
训练方式 | 文件格式 |
|---|---|
SFT 文本生成 | jsonl(ChatML messages 多轮结构) |
SFT 多模态(图片/视频) | zip(data.jsonl + 图片/视频文件) |
DPO | jsonl(chosen/rejected 偏好对比) |
CPT | jsonl(纯文本 {text}) |
评测集 | xlsx |
也可以前往百炼控制台下载数据模板。 | 在新增数据集页面的上传文件区域下方,可找到数据模板下载链接。 |
将调优文件上传至阿里云百炼
- DashScope API
Windows CMD 请将${DASHSCOPE_API_KEY}替换为%DASHSCOPE_API_KEY%,PowerShell 请替换为$env:DASHSCOPE_API_KEY
- 单个文件大小最大为300MB
- 所有的有效文件(未删除)总使用空间配额为100GB
- 所有的有效文件(未删除)总数量配额为10000个
- 文件存储没有时间限制
模型调优
调优任务的创建、查询、日志、快照管理及列举/中止/删除等操作均通过 API 完成,各接口的完整请求/响应参数与示例见对应接口页,本节仅梳理操作流程。
创建调优任务
调用创建调优任务接口(POST /api/v1/fine-tunes)发起训练,请求体(model / training_datasets / hyper_parameters / training_type 等)与响应示例见该接口页。
支持的基础模型ID( model )列表与训练类型( training_type )支持情况:
支持的基础模型ID( model )列表与训练类型( training_type )支持情况:
支持的模型
- 文本生成
- 视觉理解(千问VL)
模型服务 | 模型代码 | CPT全参训练 | SFT全参训练 | SFT高效训练 | DPO全参训练 | DPO高效训练 |
|---|---|---|---|---|---|---|
Qwen3.8-27B | qwen3.8-27b | × | ✓ | ✓ | × | × |
Qwen3.7-Plus-2026-05-26 | qwen3.7-plus-2026-05-26 | × | ✓ | × | × | × |
Qwen3.6-27B | qwen3.6-27b | × | ✓ | ✓ | × | × |
Qwen3.6-Flash-2026-04-16 | qwen3.6-flash-2026-04-16 | × | ✓ | × | × | × |
Qwen3.6-Plus-2026-04-02 | qwen3.6-plus-2026-04-02 | ✓ | ✓ | × | × | × |
Qwen3.5-27B | qwen3.5-27b | × | ✓ | ✓ | × | × |
Qwen3.5-9B | qwen3.5-9b | × | ✓ | ✓ | × | × |
Qwen3.5-4B | qwen3.5-4b | × | ✓ | ✓ | × | × |
Qwen3.5-Flash-2026-02-23 | qwen3.5-flash-2026-02-23 | × | ✓ | × | × | × |
Qwen3.5-Plus-2026-02-15 | qwen3.5-plus-2026-02-15 | × | ✓ | × | × | × |
Qwen3-32B | qwen3-32b | ✓ | ✓ | ✓ | ✓ | ✓ |
Qwen3-30B-A3B-Instruct-2507 | qwen3-30b-a3b-instruct-2507 | ✓ | ✓ | ✓ | × | × |
Qwen3-14B | qwen3-14b | × | ✓ | ✓ | ✓ | ✓ |
Qwen3-8B | qwen3-8b | × | ✓ | ✓ | ✓ | ✓ |
Qwen3-4B-Instruct-2507 | qwen3-4b-instruct-2507 | ✓ | ✓ | ✓ | ✓ | ✓ |
Qwen3-1.7B | qwen3-1.7b | ✓ | ✓ | ✓ | ✓ | ✓ |
Qwen3-0.6B | qwen3-0.6b | ✓ | ✓ | ✓ | ✓ | ✓ |
Qwen2.5-72B-Instruct | qwen2.5-72b-instruct | ✓ | ✓ | ✓ | ✓ | ✓ |
Qwen2.5-32B-Instruct | qwen2.5-32b-instruct | ✓ | ✓ | ✓ | ✓ | ✓ |
Qwen2.5-14B-Instruct | qwen2.5-14b-instruct | ✓ | ✓ | ✓ | ✓ | ✓ |
Qwen2.5-7B-Instruct | qwen2.5-7b-instruct | ✓ | ✓ | ✓ | ✓ | ✓ |
千问-Plus-Character-2025-11-06 | qwen-plus-character-2025-11-06 | × | ✓ | ✓ | ✓ | ✓ |
调优方法对比
特性 | CPT(持续预训练) | SFT (监督微调) | DPO (直接偏好优化) |
|---|---|---|---|
一句话总结 | 补知识(注入领域知识) | 学做事(学会遵循指令) | 做得更好(对齐人类偏好) |
输入数据 | 1000万+ Token 无标签的领域文本 | 1000+ 条 高质量的“问-答”对 | 100+ 组 同一指令下的“更好-更差”回答对 |
核心目标 | 领域适应,学习专业词汇和事实 | 教会模型对话格式和任务执行能力 | 使模型输出更符合人类价值观和偏好 |
学习方式 | 自监督学习(预测下一个词) | 监督学习(模仿标准答案) | 直接偏好学习(增大好答案概率,降低坏答案概率) |
模型阶段 | 通常在 SFT 之前 | CPT 之后,DPO 之前 | 通常在 SFT 之后,作为对齐的最后一步 |
训练模式对比
全参训练 | 高效训练 (LoRA,推荐) | |
|---|---|---|
适用场景 | • 需要模型学习新能力 • 追求全局效果最优 | • 优化模型特定场景下的效果 • 对训练时间和成本敏感的场景 |
训练时间 | 较长,收敛速度较慢。 | 较短,收敛速度快。 |
查询调优任务详情
使用 job_id 查询任务状态,详见查询调优任务状态。
获取调优任务日志
训练日志通过查询调优任务日志接口获取(GET /api/v1/fine-tunes/{job_id}/logs)。
查询与发布模型参数快照
调优产出的 Checkpoint 可列举与导出(发布):
- 列举快照见列举 Checkpoint(
GET /api/v1/fine-tunes/{job_id}/checkpoints)。 - 导出(发布)指定快照见导出 Checkpoint(
GET /api/v1/fine-tunes/{job_id}/export/{checkpoint}?model_name=...),异步执行,用列举接口轮询状态。
模型调优的更多操作
API参考
DashScope命令行调用参考已包含在本篇内容中,详细API调用请参考API详情。
模型部署&调用
模型部署
更多模型部署方式的相关信息请参考:使用 API 进行模型部署。
查询模型部署的状态
当部署状态为RUNNING时,表示该模型当前可供调用。
模型调用
当模型部署状态为RUNNING时,可以像调用其他模型一样使用调优后的模型。
也可以前往专属部署控制台界面获取模型code。
更多使用方法和参数设置请前往DashScope API 参考。