应用观测

• 追踪应用内部调用链路
• 查看模型响应延时
• 查看模型思考过程

应用观测目前暂无API。

​

效果示例

追踪应用内部的调用过程	查看模型的响应延时	查看模型的思考过程

​

支持的应用

应用观测目前暂不支持通过Assistant API创建的智能体应用。

​

开始使用

​

添加到评测集

1. 在应用观测列表中，点击指定应用右侧的查看详情进入Span列表页，再点击批量操作，勾选需要添加到评测集的Span数据（支持多选）。
   
2. 单击添加到评测集按钮，进入配置页：
   
   • 选择目标评测集和目标评测集名称：可选择已有评测集或新建评测集。
   • 导入方式：支持追加数据或全量覆盖两种方式。
   • 字段映射：将Span数据中的字段映射到评测集字段。新建评测集时，默认提供input和output两个字段，支持添加更多自定义字段。选择已有评测集时，会自动带出已有的表头信息。
3. 配置完成后，单击开始导入，完成后会显示“添加到评测集完成”提示。

   字段映射支持从Span的完整参数中选择。每个评测集最多支持50个字段映射。

​

数据标注

1. 在应用观测列表中，点击指定应用右侧的查看详情进入Span列表页，点击指定节点的名称即名称列内容（如AgentApp）进入数据详情页，单击数据标注按钮，即可为当前节点添加自定义标签。
2. 在弹出的侧边栏中，选择要添加的标签。如需创建新标签，单击新建标签跳转到标签管理页面。
3. 根据标签类型进行标注：
   • 布尔值：是/否 二选一
   • 分类：下拉多选
   • 数字：数字输入框
   • 文本：文本输入框

​

查看标注

保存数据标注后，在Span列表页的标签列可以查看已标注的内容。多个标签的标注结果会分行显示在同一区域。

​

查看数据

​

Span筛选模式

• Root Span：仅显示根节点，即每次调用的入口Span（默认模式）
• All Span：显示所有Span，平铺展示
• Model Span：仅显示包含模型调用的Span

​

过滤器：添加筛选条件

1. 点击过滤器，然后点击添加筛选条件，可添加多个条件。
2. 完成条件添加后，点击应用即可过滤出指定Span数据。

​

筛选条件

​

计费说明

• 应用观测功能本身不收费。
• 应用观测产生的数据需要存储在可观测链路OpenTelemetry服务中，您需要支付相关的费用。关于OpenTelemetry服务的费用详情，请参见计费说明。

​

附录

​

名词解释

​

支持的节点类型

注意：以下节点仅在被触发或调用时展示。

​

常见问题

1. 为子账号配置AliyunBailianFullAccess全局管理（阿里云百炼）权限。
2. 为子账号配置应用观测-操作（或管理员）页面权限，使其可在应用观测页面执行写入类操作。
3. 创建并授予子账号创建服务关联角色系统策略。
   1. 登录RAM控制台，在左侧导航栏，选择权限管理权限策略，然后单击界面上的创建权限策略。
   2. 在脚本编辑的Effect、Action、Resource、Condition中分别输入以下脚本中的对应内容后，单击确定。

{
    "Version": "1",
    "Statement": [
        {
            "Action": "ram:CreateServiceLinkedRole",
            "Resource": "*",
            "Effect": "Allow"
        }
    ]
}

3. 输入权限策略名称CreateServiceLinkedRole后，单击确定。
4. 在左侧导航栏，选择身份管理用户。从界面列表中找到待授权的子账号，然后单击子账号操作列的添加权限。
5. 从权限策略列表中，选择刚创建的权限策略（CreateServiceLinkedRole），然后单击确认新增授权。至此，子账号拥有了创建服务关联角色的权限。
6. 完成以上所有权限配置后，返回应用观测界面，使用子账号再尝试开启应用观测。

• 已在代码中定义要上报的信息。可使用 AgentScope-AI 的 Tracing模块 定义。
• 在部署高代码应用时，已添加--telemetry enable参数开启可观测能力。