Skip to main content

添加多模态评测数据

多模态数据结构说明与多模态评测集数据添加方式

多模态评测用于评估 Agent 对图片、音频、视频及其混排内容的理解与生成效果。准备好多模态评测集后，可以选择多模态评估器，并创建针对多模态数据的评测任务，覆盖视觉问答、票据识别、语音客服、视频内容理解等场景。

什么是多模态数据

多模态数据可以是图片、音频或视频，也可以是文字、图片、音频与视频的组合。 多模态字段在服务端统一存储为 Array<Object>。数组中的每个 Object 通过 type 声明元素类型，通过对应的载荷字段承载内容；图片、音频和视频的载荷均为 URL。数组顺序即内容顺序，支持同类内容重复出现，也支持文字与媒体混排。 
[
  {
    "type": "text",
    "text": "请描述这张图片，并总结音频和视频的主要内容。"
  },
  {
    "type": "image_url",
    "image_url": {
      "url": "https://example.com/image.png"
    }
  },
  {
    "type": "audio_url",
    "audio_url": {
      "url": "https://example.com/audio.mp3"
    }
  },
  {
    "type": "video_url",
    "video_url": {
      "url": "https://example.com/video.mp4"
    }
  }
]
一条多模态数据不要求同时包含四种元素，可以只包含一种模态，也可以自由混排。例如，纯图片、图文、语音加文字、视频加文字都是有效的多模态数据。

创建多模态评测集

创建评测集时，编辑评测集表结构，将列类型设置为多模态。例如：
列名数据类型必填描述
input多模态或 String是输入内容
reference_output多模态或 String否理想输出
输入字段定义为多模态类型，常用于评测多模态内容理解效果；输出字段定义为多模态类型，常用于评测生成多模态内容的效果。 评测集创建与发布的详细步骤，参考创建与管理。

添加多模态评测数据

进入评测集详情页，点击添加数据 > 单条新增：
  • 对于多模态字段，点击添加内容，按需添加文本、图片、音频或视频元素。本期仅支持上传本地文件。
  • 元素按添加顺序组成数组，可以调整顺序、删除单项或继续追加。
  • 填写完成后保存。系统会校验必填字段，校验通过后添加成功。
多模态数据校验：
  • 文本：非空，最多 10000 字符。
  • 图片：JPG、JPEG、PNG，单文件不超过 20 MB。
  • 音频：MP3，单文件不超过 100 MB。
  • 视频：MP4、MOV，单文件不超过 100 MB。

通过 Trace 回流评测数据

应用观测中的 Trace 可回流到多模态评测集：在应用观测的 Trace 列表批量选择 Trace，配置 Trace 中输入、输出字段（包含多模态图片内容）与评测集字段的映射关系，导入评测集。操作步骤参考应用观测中的添加到评测集。