模型监控

• 查看调用记录
• 指标监控与告警，如Token延时、调用时长、RPM（每分钟请求数）、TPM（每分钟Token数）和失败率
• 统计Token消耗

​

支持的模型

• 监控：普通监控支持选择模型中的所有模型，包括基于它们调优后的自定义模型；高级监控支持北京、新加坡、弗吉尼亚地域下的所有模型。
• 告警功能：支持北京、新加坡地域下的所有模型。

​

监控模型运行

列表记录按“模型 + 业务空间”维度生成。新模型在首次数据同步完成后自动加入列表（普通监控的延迟通常为小时级，请耐心等待；如需分钟级的数据洞察，请使用高级监控）。

默认业务空间成员可查看所有业务空间的模型调用情况；子业务空间成员仅能查看当前空间的数据，无法切换查看其他业务空间数据。

• 安全：识别对话中的违规内容，例如内容安全错误次数。
• 成本：评估模型的成本效益，例如平均单次请求调用量。
• 性能：观察模型的性能变化，例如调用时长、首Token延时。
• 错误：判断模型的稳定性，例如失败次数、失败率。

• 限流错误次数：指因429状态码导致的调用失败。
• 内容安全错误次数：指输入或输出包含疑似敏感或高风险内容（例如涉黄、涉政和广告等）被内容安全服务拦截。

​

查看 Token 消耗

• 汇总：按业务空间维度汇总模型的历史Token消耗，并可按时间范围和API Key进一步筛选。
• 追踪：记录每一次模型调用的Token消耗。
• 告警：设置Token消耗阈值，当指定模型出现异常消耗时，系统立即告警。

​

查看模型历史 Token 消耗

• 查看最近30天的Token消耗：
  1. 当模型出现在目标业务空间的模型监控列表中后，点击其右侧操作列的监控。
  2. 在调用统计页签的调用量区域，可以查看Token消耗数据。
• 查看更早的用量：在费用与成本页面查询。

​

查看某次调用的 Token 消耗

该功能目前仅适用于华北2（北京）地域的部分模型。

1. 使用主账号（或拥有足够权限的子账号）登录，在目标业务空间的模型监控（北京）页面，点击右上角的模型监控配置，按照指引依次开通审计日志和推理日志。

   开通后，系统即开始记录该业务空间内每一次模型调用的输入与输出。从调用发生到日志被记录存在分钟级延迟，请耐心等待。

2. 在模型监控列表中找到目标模型，点击其右侧操作列的日志。
3. 日志页签展示该模型的实时推理调用记录，用量字段即为本次调用的Token消耗。

​

创建异常消耗告警

• 请参见建立主动告警。

​

查看历史对话（模型日志）

​

步骤一：开通日志

开通后，系统即开始记录该业务空间内每一次模型调用的输入与输出。从调用发生到日志被记录存在分钟级延迟，请耐心等待。

如需停止记录，只需在模型监控配置中关闭推理日志即可。

​

步骤二：查看历史对话

1. 在模型监控列表中找到目标模型，点击其右侧操作列的日志。
2. 日志页签展示该模型的实时推理调用记录，请求和响应字段分别对应本次调用的输入与输出。

​

建立主动告警

​

步骤一：开启高级监控

1. 使用主账号（或拥有足够权限的子账号）登录，在目标业务空间的模型监控（北京 或 新加坡）页面，点击右上角的模型监控配置。
2. 在高级监控区域，手动开启性能和用量指标监控。

​

步骤二：创建告警规则

1. 在模型告警（北京 或新加坡）页面，点击右上角的创建告警规则。
2. 在对话框中，选择要监控的模型和监控模板，确认无误后点击创建。当指定的监控指标（如调用统计或性能指标）出现异常时，系统将通知您的团队。
   • 通知方式：支持短信、电子邮件、电话、钉钉群机器人、企业微信机器人及Webhook。
   • 告警等级：分为普通、警告、错误和紧急，不支持自定义新增或修改。各等级与通知渠道的对应关系如下：
     • 紧急（CRITICAL）: 电话、短信、邮件
     • 错误（ERROR）: 短信、邮件
     • 警告（WARNING）: 短信、邮件
     • 普通（INFO）: 邮件

​

接入 Grafana 与自建应用

​

步骤一：获取数据源HTTP API地址

1. 确保已开启高级监控。
2. 在模型监控（北京）、模型监控（弗吉尼亚）或模型监控（新加坡）页面，点击右上角的模型监控配置。点击云监控Prometheus实例右侧的查看详情。
3. 在设置页面，根据您的客户端网络环境（公网或VPC访问），复制对应的 HTTP API 地址。
   

​

步骤二：接入 Grafana 或自建应用

​

监控模式对比

普通监控：作为基础服务提供，随阿里云百炼的开通自动开启，不支持关闭。

高级监控：需主账号（或拥有足够权限的子账号）在目标业务空间的模型监控（北京）、模型监控（弗吉尼亚）或模型监控（新加坡）界面手动开启，支持关闭。仅记录开启高级监控后的调用数据。

​

配额与限制

• 数据保留周期：普通和高级监控的数据默认均保留30天。如需查询更早的用量信息，请通过费用与成本页面查询。
• 告警模板限制：每个业务空间最多可创建100个告警模板。
• API限制：模型监控的监控指标数据请通过Prometheus HTTP API查询。
  • 替代方案：如需通过API获取单次调用Token消耗，可在每次调用模型时从响应中的usage字段提取当前调用数据。该字段结构示例如下（更多说明请参见千问API参考）：

{
  "prompt_tokens": 3019,
  "completion_tokens": 104,
  "total_tokens": 3123,
  "prompt_tokens_details": {
    "cached_tokens": 2048
  }
}

​

计费说明

• 普通监控：免费。
• 高级监控：开启后，分钟级的监控数据将写入云监控CMS服务并产生费用。具体计费方式参见云监控CMS计费概述。
• 推理日志：开启后，分钟级的日志数据将写入日志服务SLS服务并产生费用。具体计费方式参见日志服务SLS计费概述。

​

常见问题

1. 数据延迟：确认是否已等待足够的数据同步时间。普通监控延迟为小时级，高级监控为分钟级。
2. 业务空间：如果当前处于某个子业务空间，则只能看到该空间内的数据。切换到默认业务空间可查看所有数据。

• 输出内容过长：模型生成内容过多导致整体耗时超过客户端等待上限。建议改用流式输出方式，以更快获得首个Token。
• 网络问题：检查客户端与阿里云服务之间的网络连接是否稳定。

1. 为子账号配置AliyunBailianFullAccess全局管理（阿里云百炼）权限。
2. 为子账号配置模型监控-操作（或管理员）页面权限，使其能在模型监控页面执行写入类操作。
3. 为子账号配置AliyunCloudMonitorFullAccess系统策略。
4. 创建并授予子账号创建服务关联角色系统策略。
   1. 登录RAM控制台，在左侧导航栏，选择权限管理权限策略，然后点击页面上的创建权限策略。
   2. 点击脚本编辑，将以下内容粘贴至策略输入框后，点击确定。

{
    "Version": "1",
    "Statement": [
        {
            "Action": "ram:CreateServiceLinkedRole",
            "Resource": "*",
            "Effect": "Allow"
        }
    ]
}

3. 输入权限策略名称CreateServiceLinkedRole后，点击确定。
4. 在左侧导航栏，选择身份管理用户。从页面列表中找到待授权的子账号，然后点击子账号操作列的添加权限。
5. 从权限策略列表中，选择刚创建的权限策略（CreateServiceLinkedRole），然后点击确认新增授权。至此，子账号拥有了创建服务关联角色的权限。
6. 完成以上所有权限配置后，返回模型监控（北京）、模型监控（弗吉尼亚）或模型监控（新加坡）页面，使用子账号重试开启高级监控。

1. 为子账号配置AliyunBailianFullAccess全局管理（阿里云百炼）权限。
2. 为子账号配置模型监控-操作（或管理员）页面权限，使其能在模型监控页面执行写入类操作。
3. 为子账号配置AliyunLogFullAccess系统策略。
4. 创建并授予子账号创建服务关联角色系统策略。
   1. 登录RAM控制台，在左侧导航栏，选择权限管理权限策略，然后点击页面上的创建权限策略。
   2. 点击脚本编辑，将以下内容粘贴至策略输入框后，点击确定。

{
    "Version": "1",
    "Statement": [
        {
            "Action": "ram:CreateServiceLinkedRole",
            "Resource": "*",
            "Effect": "Allow"
        }
    ]
}

3. 输入权限策略名称CreateServiceLinkedRole后，点击确定。
4. 在左侧导航栏，选择身份管理用户。从页面列表中找到待授权的子账号，然后点击子账号操作列的添加权限。
5. 从权限策略列表中，选择刚创建的权限策略（CreateServiceLinkedRole），然后点击确认新增授权。至此，子账号拥有了创建服务关联角色的权限。
6. 完成以上所有权限配置后，返回模型监控（北京）页面，使用子账号重试开启推理日志。

​

附录

​

名词解释