模型压缩

​

功能概述

模型压缩通过量化技术将全精度微调模型转换为低精度版本，在保持模型能力的前提下降低部署所需的 MU 规格，从而减少推理部署成本。百炼平台的模型压缩特指量化，不涉及结构剪枝或知识蒸馏。 模型压缩是模型生产链路中的可选环节，完整链路为：模型调优 → 模型压缩 → 模型部署。您需要先完成模型微调训练，再对产出的微调模型执行压缩，最后将压缩后的模型部署为推理服务。

​

支持压缩的模型

当前支持压缩的模型如下表所示，具体以控制台展示为准。

模型系列	基础模型	压缩前部署规格	压缩后部署规格
Qwen	qwen3.5-flash-2026-02-23	MU1*2（¥108/小时）	MU8*1（¥47/小时）

以上示例中，压缩后部署成本相比压缩前节省约 56%。

​

使用限制

• 仅华北2（北京）地域可用。
• 仅支持通过百炼平台微调产出的自定义模型，不支持基础模型或第三方模型。
• 压缩后的模型不支持继续微调，也不支持二次压缩。

​

创建压缩任务

​

前提条件

使用模型压缩功能前，请确保当前工作空间中已有通过百炼平台微调训练完成的自定义模型。如果尚未完成模型微调，请先参见模型调优完成训练。

​

操作步骤

1. 登录百炼控制台，在顶部导航栏选择模型 > 模型训练 > 模型压缩。
2. 在模型压缩页面，单击创建压缩任务。
3. 在创建压缩任务页面，配置以下参数：
   

   参数	是否必填	说明
   任务名称	是	最长 50 个字符。建议包含模型简称、量化方式和版本号，便于后续管理。
   任务描述	否	最长 200 个字符。
   选择源模型	是	单击后弹出模型选择弹窗，仅展示可压缩的微调模型。如果弹窗中无可用模型，请先完成模型微调训练。切换源模型会自动清空已选的量化模板，因为不同模型支持的模板列表不同。
   量化产出模型名后缀	是	仅支持小写字母和数字，最长 8 位。输入非法字符时自动过滤。该后缀将拼接到源模型名称后作为压缩后模型的标识。
   量化模板	是	以卡片网格形式展示可用模板。须先选择源模型后才能选择模板。模板名中的 MU 编号越大，表示部署规格越小、成本越低。
   校准数据	条件选填	仅当所选量化模板包含校准输入参数时显示此字段。最多选择 5 个数据集，不支持 OSS 挂载的数据集。数据集需在数据管理中创建并发布。

4. 确认配置无误后，单击开始压缩。所有必填字段填写完成后按钮才可点击。创建成功后自动跳转到任务列表页。

​

查看压缩任务进度和日志

在任务列表页单击任务名称进入详情页。详情页包含详情和日志两个页签。

​

详情页签

详情页签展示以下信息：

• 基本信息：任务 ID（可复制）、运行状态、创建时间、任务耗时（运行中实时更新）。任务失败时额外显示错误信息。
• 压缩配置：源模型、压缩后模型、量化方法、校准数据等创建时的配置信息。

​

日志页签

切换到日志页签，查看压缩任务的运行日志。

• 显示行数：可选择显示最近 100、500、2000 或 5000 行日志。
• 自动刷新：开启后每 30 秒自动刷新日志内容。
• 日志级别着色：INFO（绿色）、DEBUG（灰色）、ERROR（红色）、WARN（黄色）。
• 日志操作：支持下载全量日志（不受显示行数限制）、折叠或展开子条目、切换暗色或亮色模式、切换是否换行显示。

​

失败排查

如果压缩任务失败，建议按以下步骤排查：

1. 在详情页签查看错误信息。
2. 切换到日志页签，搜索 ERROR 级别日志。
3. 下载全量日志进行详细分析。
4. 如仍无法解决，请提交工单并附上任务 ID 和日志文件。

​

管理压缩任务

在控制台选择模型 > 模型训练 > 模型压缩进入任务列表页，管理已创建的压缩任务。

​

任务列表

任务列表展示以下 7 列信息：

列名	说明
任务名称/ID	任务名称和任务 ID。单击任务名称可进入详情页。
量化模板	创建任务时选择的量化模板名称。
任务状态	当前任务的运行状态。
源模型	压缩前的微调模型名称。
压缩后模型	压缩产出的模型名称。仅任务成功时可点击跳转到模型中心查看。
创建时间	任务的创建时间。
操作	可执行的操作，包括停止和删除。操作可用性与任务状态相关。

支持按量化模板、任务状态（5 种）、时间范围和任务名称或 ID进行筛选和搜索。列表支持排序，每页显示 10 条记录。

​

任务状态

压缩任务共有 7 种状态，生命周期如下：

• PENDING（待开始）：任务已创建，等待调度。
• QUEUING（排队中）：任务已进入执行队列。
• RUNNING（运行中）：任务正在执行压缩。
• SUCCEEDED（压缩成功）：压缩完成，模型已产出。
• FAILED（压缩失败）：压缩过程中出错。
• CANCELING（停止中）：用户发起停止，任务正在终止。
• CANCELED（已取消）：任务已被用户停止。

​

停止和删除任务

• 停止任务：仅 PENDING 和 RUNNING 状态的任务可停止。单击停止后需在确认弹窗中二次确认。停止后任务不可恢复。详情页中也提供停止按钮。
• 删除任务：仅终态（SUCCEEDED、FAILED、CANCELED）的任务可删除，QUEUING 状态不可删除。删除任务记录不影响已产出的压缩后模型。

空状态提示：无任务时页面显示引导文案并提供创建入口；有筛选无结果时提示"未找到匹配项"，建议调整筛选条件或清空搜索。

​

计费说明

• 压缩任务本身限时免费，截止时间以控制台公告为准。
• 压缩后的模型在部署阶段按 MU 规格计费。详细的部署计费信息，请参见模型部署。

以 qwen3.5-flash-2026-02-23 微调模型为例，压缩前后的部署规格与价格请参见支持压缩的模型，部署成本节省约 56%。建议在免费期内对比多个量化模板的压缩效果，选择最优方案后再正式部署。

​

常见问题

创建压缩任务时无可选模型怎么办？

选择源模型弹窗中仅展示可压缩的微调模型。如果弹窗中无可选项，说明当前工作空间没有符合条件的微调模型。请先参见模型调优完成微调训练，确保训练状态为成功后再创建压缩任务。

压缩后的模型能否继续微调或二次压缩？

不能。压缩是单向操作，如需调整请从上游全精度微调模型重新压缩。详见功能概述中的使用限制。

量化与剪枝、蒸馏有什么区别？

三者是不同的模型优化技术。量化降低参数精度，剪枝移除冗余结构，蒸馏用大模型训练小模型。百炼当前仅支持量化。

量化模板怎么选？

量化模板决定了压缩后模型的部署规格。模板名称中 MU 编号越大，部署规格越小、成本越低，但精度损失可能越大。建议根据业务对成本和精度的权衡来选择模板。如果不确定，可以在免费期内尝试多个模板，部署后用业务测试集验证效果。

校准数据怎么选？

校准数据用于提升量化精度，建议选择与目标推理场景语义相近的数据集。例如，如果压缩后的模型用于客服问答场景，建议选择包含客服对话样本的数据集作为校准数据。

压缩后模型精度下降怎么办？

量化压缩可能导致一定程度的精度损失。建议在部署后使用业务测试集进行推理验证。如果精度不满足需求，可以尝试更换量化模板重新压缩，或添加校准数据提升量化质量。

免费期结束后怎么收费？

压缩任务当前限时免费，免费期结束后的计费方式以控制台公告为准。压缩后模型的部署费用不受免费期影响，始终按 MU 规格计费。

如何利用免费期确定最佳压缩方案？

建议在免费期内对同一微调模型尝试多个量化模板，分别部署后使用业务测试集验证推理效果。对比不同模板在精度和成本之间的表现，选择最适合业务需求的方案后再正式上线。

如果您需要通过 API 管理压缩任务，请参见模型压缩 API 参考。