> ## Documentation Index
> Fetch the complete documentation index at: https://docs.bailian.console.aliyun.com/llms.txt
> Use this file to discover all available pages before exploring further.

# 训练集与评测集

> 数据集是模型训练与评测的基础，阿里云百炼数据管理功能可以帮助您高效地创建和管理数据集。

<meta property="og:title" content="训练集与评测集" />

## 数据集概述 <span id="h2-sec-overview" />

阿里云百炼<strong>数据管理</strong>功能对您业务空间下所有大模型相关数据集进行统一管理。数据集分为<strong>训练集</strong>（用于[模型调优](/zh/model-studio/model-training-overview)，支持 SFT/DPO/CPT）和<strong>评测集</strong>（用于[模型评测](/zh/model-studio/model-evaluation-overview)两类。

训练集支持4种训练场景：文本生成、视觉理解、图生视频（首帧）、图生视频（首尾帧）；评测集仅支持文本生成场景。数据集类型创建后不可变更，请根据下游用途谨慎选择。

数据集名称最长50字符（支持中文、英文、数字、下划线、连字符和点），描述最长200字符。不支持创建或发布空数据集。数据集创建数量无限制，导入数据量无上限。

DPO/CPT 训练方法、云存储挂载仅支持北京地域。

## 训练方法与场景 <span id="h2-sec-compare-training" />

训练集支持三种训练方法，适用场景和最低数据量要求不同：

- <strong>SFT</strong>（监督微调）：指令微调，使模型学会解决特定任务。建议数据量上千条。全部站点可用。
- <strong>DPO</strong>（直接偏好优化）：偏好对齐训练。建议数据量上百条。
- <strong>CPT</strong>（持续预训练）：领域知识注入。建议数据量至少 5000 万 Token。

所有训练集创建提交后均为立即发布，不再支持先存为草稿；历史创建的草稿版本仍可在线编辑或删除。

<table style={{ display: "table", tableLayout: "fixed", width: "100%" }}><colgroup><col style={{ width: "25%" }} /><col style={{ width: "25%" }} /><col style={{ width: "25%" }} /><col style={{ width: "25%" }} /></colgroup><thead><tr><th><p><strong>训练方法</strong></p></th><th><p><strong>用途</strong></p></th><th><p><strong>推荐数据量</strong></p></th><th><p><strong>站点可用性</strong></p></th></tr></thead><tbody><tr><td><p>SFT</p></td><td><p>监督微调（指令微调）</p></td><td><p>上千条</p></td><td><p>全部站点</p></td></tr><tr><td><p>DPO</p></td><td><p>直接偏好优化（偏好对齐）</p></td><td><p>上百条</p></td><td><p>北京地域</p></td></tr><tr><td><p>CPT</p></td><td><p>持续预训练（领域知识）</p></td><td><p>5000万 Token</p></td><td><p>北京地域</p></td></tr></tbody></table>

## 导入方式 <span id="h2-sec-compare-import" />

数据集支持四种导入方式，适用场景和前置条件不同：

- <strong>本地上传</strong>：无前置条件，直接上传本地文件，适合小批量数据。
- <strong>从 OSS 导入</strong>：需在目标 Bucket 添加标签 `bailian-datahub-access=read`，适合大批量数据。评测集不支持此方式。
- <strong>日志回流</strong>：从 SLS 推理日志自动提取训练数据，需授权服务关联角色，形成推理→数据→微调增强回路。
- <strong>API 上传</strong>：通过百炼 API 以编程方式上传数据文件，适合需要自动化集成的场景。详见[使用 API 或命令行进行模型调优](/zh/model-studio/fine-tuning-api-guide)。

日志回流的完整限制（30 天范围、10 万条上限、API Key/模型筛选）与授权要求见[日志回流](/zh/model-studio/model-log-backflow)专篇。

导入数据自动启用 OSS 服务端加密（SSE-OSS，AES256）。日志回流可用。完整受限项见数据集概述。

<table style={{ display: "table", tableLayout: "fixed", width: "100%" }}><colgroup><col style={{ width: "25%" }} /><col style={{ width: "25%" }} /><col style={{ width: "25%" }} /><col style={{ width: "25%" }} /></colgroup><thead><tr><th><p><strong>导入方式</strong></p></th><th><p><strong>前置条件</strong></p></th><th><p><strong>适用场景</strong></p></th><th><p><strong>评测集支持</strong></p></th></tr></thead><tbody><tr><td><p>本地上传</p></td><td><p>无</p></td><td><p>小批量数据</p></td><td><p>支持</p></td></tr><tr><td><p>OSS 导入</p></td><td><p>Bucket 标签 bailian-datahub-access=read</p></td><td><p>大批量数据</p></td><td><p>不支持</p></td></tr><tr><td><p>日志回流</p></td><td><p>授权 + API Key/模型筛选</p></td><td><p>从推理日志构建训练数据</p></td><td><p>支持</p></td></tr></tbody></table>

<Warning>
  日志回流需先授权服务关联角色，完整限制与操作细节见[日志回流](/zh/model-studio/model-log-backflow)专篇。
</Warning>

## 数据准备 <span id="aebd25a7f1g2v" />

准备高质量数据是模型调优效果的关键。各训练方式（SFT/DPO/CPT 文本生成）的推荐数据量详见[调优数据上传规则](/zh/model-studio/text-generation-tuning-data-upload-rules#ao7nn4pajyv00)。

视觉理解和图生视频训练集暂无官方推荐数据量，建议根据实际场景准备充足样本。

### 数据格式与模板 <span id="h3-dp-format" />

各训练场景（SFT 文本/视觉理解（图/视频→文本）、DPO、CPT、评测集）的数据文件格式规格详见[调优数据上传规则](/zh/model-studio/text-generation-tuning-data-upload-rules#w80m77fe66000)。

建议在<strong>数据管理</strong>创建数据集页面下载对应场景的数据模板，按模板结构准备数据可避免导入失败。

数据多样性和扩充策略请参考[模型调优](/zh/model-studio/model-training-overview)文档。评测集应准备一份数据不重叠的独立集合，用于客观评估模型泛化能力。

## 创建数据集 <span id="ff93391793hx6" />

创建数据集前需满足以下前提条件：已开通百炼服务；OSS 导入需在目标 Bucket 添加标签 `bailian-datahub-access=read`；日志回流需授权服务关联角色。

在<strong>[数据管理](https://bailian.console.aliyun.com/cn-beijing/model/data)</strong> > <strong>数据集</strong>列表页，点击<strong>创建数据集</strong>进入独立创建页面，按以下步骤操作：

1. 填写数据集名称（最长50字符）和描述（最长200字符，可选）。
2. 选择数据集类型：<strong>训练集</strong>或<strong>评测集</strong>（创建后不可变更）。
3. 选择训练场景：文本生成、视觉理解、图生视频（首帧）、图生视频（首尾帧）。评测集仅支持文本生成。
4. 选择训练方法：SFT、DPO、CPT。
5. 选择数据格式：<strong>Jsonl 格式</strong>或<strong>Excel 格式</strong>。
6. 选择存储位置：<strong>平台 OSS 存储</strong>（免费，无数据量上限）或<strong>云存储挂载</strong>（评测集不可用）。
7. 选择导入方式并上传数据：本地上传、从 OSS 导入、日志回流、API 上传（详见下方分 Tab 说明）。
8. 点击<strong>确认</strong>后数据集立即发布，完成创建。

三种导入方式的操作在不同 Tab 中进行，各 Tab 的字段和操作不同。SFT 文本生成和 DPO 文本生成训练集支持同时上传多个文件。

<table style={{ display: "table", tableLayout: "fixed", width: "100%" }}><colgroup><col style={{ width: "25%" }} /><col style={{ width: "25%" }} /><col style={{ width: "25%" }} /><col style={{ width: "25%" }} /></colgroup><thead><tr><th><p><strong>参数</strong></p></th><th><p><strong>说明</strong></p></th><th><p><strong>是否必填</strong></p></th><th><p><strong>取值说明</strong></p></th></tr></thead><tbody><tr><td><p>数据集名称</p></td><td><p>数据集标识</p></td><td><p>true</p></td><td><p>最长50字符，中文/英文/数字/下划线/连字符/点</p></td></tr><tr><td><p>数据集描述</p></td><td><p>数据集说明</p></td><td /><td><p>最长200字符</p></td></tr><tr><td><p>数据集类型</p></td><td><p>训练集或评测集，创建后不可变更</p></td><td><p>true</p></td><td><p>训练集/评测集</p></td></tr><tr><td><p>训练场景</p></td><td><p>数据适用的训练场景</p></td><td><p>true</p></td><td><p>文本生成/视觉理解/图生视频(首帧)/图生视频(首尾帧)</p></td></tr><tr><td><p>训练方法</p></td><td><p>训练算法类型</p></td><td><p>true</p></td><td><p>SFT/DPO/CPT</p></td></tr><tr><td><p>数据格式</p></td><td><p>数据文件的格式</p></td><td><p>true</p></td><td><p>Jsonl格式/Excel格式</p></td></tr><tr><td><p>存储位置</p></td><td><p>数据集存储方式</p></td><td><p>true</p></td><td><p>平台OSS存储/云存储挂载</p></td></tr><tr><td><p>导入方式</p></td><td><p>数据导入来源</p></td><td><p>true</p></td><td><p>本地上传/从OSS导入/日志回流/API上传</p></td></tr></tbody></table>

<Image src="https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/1219935871/p1091636.png" alt="image" width={491} />

<Tabs>
  <Tab title="本地上传">
    点击<strong>上传文件</strong>选择本地数据文件，SFT 文本生成和 DPO 文本生成支持多文件上传。文件格式需符合场景要求（详见<strong>数据准备</strong>章节），导入数据自动启用 SSE-OSS 加密。
  </Tab>

  <Tab title="从 OSS 导入">
    在目标 Bucket 添加标签 `bailian-datahub-access=read` 后，选择 Bucket 并指定数据文件路径。适合大批量数据导入，评测集不支持此方式。
  </Tab>

  <Tab title="日志回流">
    需先授权服务关联角色。选择 API Key 和模型，筛选最近 30 天内的推理日志（单次上限 10 万条），系统自动从日志提取训练数据，形成推理→数据→微调增强回路。完整操作细节请参考日志回流专篇。
  </Tab>
</Tabs>

## 版本管理 <span id="h2-sec-add-version" />

同一数据集可有多个独立版本，版本号自动递增。在数据集详情页点击<strong>新增版本</strong>可创建新版本。

新增版本采用新建模式，需重新导入全部数据，不再支持基于上一版本数据增量修改的继承模式。

- <strong>新建模式</strong>：重新导入全部数据，适合大规模更新。

历史创建的草稿状态数据集版本可用于<strong>数据处理</strong>（数据清洗和数据增强），提升数据质量后再发布。

## 数据集管理 <span id="0c640e2d9d9ax" />

在<strong>[数据管理](https://bailian.console.aliyun.com/cn-beijing/model/data)</strong> > <strong>数据集</strong>列表页可查看所有数据集。列表展示以下 9 列：数据集名称、类型、最新版本、数据量、导入状态、发布状态、存储位置、导入方式和操作（新增版本/发布/删除）。支持按存储位置和导入方式筛选。导入中的数据集每 5 秒自动刷新状态，无需手动刷新。导入状态和发布状态为两个独立列，分别反映数据导入进度和数据集是否已发布。

### 发布与删除 <span id="h3-mg-pubdel" />

<strong>发布</strong>操作不可逆，发布后的版本不可再编辑。已发布版本的<strong>删除</strong>同样不可逆，仅历史创建的草稿版本可删除；删除整个数据集会移除其下所有版本，操作均不可恢复，请谨慎执行。

### 编辑与导出 <span id="h3-mg-editexp" />

只有历史创建的草稿版本可在线编辑（可编辑 Prompt/Completion 内容），新建数据集提交即发布、不再产生草稿版本；已发布版本编辑功能不可用。导出数据集时各类型格式不同：SFT 训练集导出为 jsonl，视觉理解训练集导出为 zip，评测集导出为 xlsx，不支持导出空数据集。

<Image src="https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/1219935871/p1091637.png" alt="image" width={507} />

<Tip>
  发布和删除操作均不可逆。已发布版本不可再编辑，仅历史创建的草稿版本可删除，请谨慎执行。
</Tip>

## 计费说明 <span id="455a13b29bjth" />

数据管理功能本身免费，但数据集存储和下游资源会产生费用，具体以百炼计费页面为准。

- <strong>平台 OSS 存储</strong>：费用以百炼计费页面为准。
- <strong>云存储挂载</strong>：费用归属用户自有 OSS 账单。
- <strong>日志回流</strong>：产生的 SLS 费用归属 SLS 产品账单。

建议在使用前查阅百炼计费文档了解最新价格。

## 下一步 <span id="h2-sec-next-steps" />

数据集创建并发布后，可用于以下下游场景：

- 训练集发布后用于[模型调优](/zh/model-studio/model-training-overview)（SFT/DPO/CPT）。
- 评测集发布后用于[模型评测](/zh/model-studio/model-evaluation-overview)。
- 已发布数据集（含历史创建的草稿版本）均可用于<strong>数据处理</strong>（数据清洗和增强）。

如需了解[日志回流](/zh/model-studio/model-log-backflow)的完整操作细节（授权流程、筛选逻辑），请参考日志回流专篇。

数据集 CRUD 当前仅支持控制台操作；模型调优 API 可通过 training\_file\_ids 参数引用已发布的训练集 ID。