功能概述
筛选介绍
提供以下模型分类筛选：
分类 | 监控内容 |
语言模型、多模态理解、向量模型 | RPM（Requests Per Minute）、TTFT（Time To First Token）、TPOT（Time Per Output Token）、错误率、调用次数等性能指标。 |
视觉模型 | 图像生成相关模型的请求数、Token 消耗数、图片张数、成功率、任务时长等指标。 |
| Kling、Vidu、PixVerse、MiniMax 系列模型的请求数、Token 消耗数、视频秒数、成功率、任务时长等指标。 |
| HY、YT 系列模型的调用量、并发量等指标。 |
| 3D 生成模型的调用量、并发量等指标。 |
语音模型 | 语音模型的请求数、Token 消耗数、音乐数量、字符数、秒数、成功率、任务时长等指标。 |
支持按照以下维度进行筛选：
筛选项 | 说明 |
筛选维度 | 支持按服务/按模型筛选，切换不同的聚合视角。 |
服务选择 | 下拉选择特定推理服务（默认显示全部服务）。 |
时间范围 | 1小时/今天/近3天/近7天/近30天，或自定义时间区间。 |
监控指标说明
语言模型核心指标
以时序折线图的形式展示以下核心性能指标：
指标 | 全称 | 单位 | 说明 |
首 Token 延迟（TTFT） | Time To First Token | ms | 从请求发送到收到第一个 Token 的响应时间（单位时间内流式请求的 TTFT 均值，不包含非流式请求）。 |
每 Token 输出时延（TPOT） | Time Per Output Token | ms | 生成每个输出 Token 的平均耗时。 |
缓存命中率 | Cache Hit Ratio | % | 请求缓存命中 token 数 / 输入总 token 数。 |
超时错误率 | Request Canceled Ratio | % | 因客户端超时等原因触发的取消请求 / 总调用次数。 |
RPM 限流率 | RPM Rate Limited Ratio | % | 限流次数 / 总调用次数。 |
非流式接口延时 | Non-Stream Latency | ms | 单位时间内针对非流式请求的 latency，端到端耗时。 |
错误率 | Request Error Ratio | % | HTTP 状态码非200请求数 / 总请求数。 |
客户端错误率 | Client Error Ratio | % | 4xx 请求数 / 总请求数。 |
服务端错误率 | Server Error Ratio | % | 5xx 请求数 / 总请求数。 |
429限流错误率 | Rate Limited Ratio | % | 429 请求数 / 总请求数。 |
每分钟请求数（RPM） | Requests Per Minute | reqs/min | 每分钟的请求并发数（调用次数），反映当前的请求吞吐量。 |
调用失败次数 | Failure Count | reqs/min | 每分钟请求调用失败的次数。 |
调用成功次数 | Success Count | reqs/min | 每分钟请求调用成功的次数 |
图片生成核心指标
以时序折线图的形式展示以下核心性能指标：
指标 | 说明 |
每分钟请求数 | 每分钟的任务请求数。 |
图片张数 | 单位时间内所有生成图片的数量总和。 |
Token 消耗数 | 单位时间内所有任务请求的 Token 消耗数。 |
错误率 | 单位时间内任务请求的失败率。 |
任务时长 | 单位时间内任务请求的端到端平均耗时。 |
视频生成核心指标
Kling、Vidu、PixVerse、MiniMax 系列视频生成模型 以时序折线图的形式展示以下核心性能指标：
指标 | 说明 |
每分钟请求数 | 每分钟的任务请求数。 |
视频秒数 | 单位时间内所有生成视频的时长总和。 |
Token 消耗数 | 单位时间内所有任务请求的 Token 消耗数。 |
错误率 | 单位时间内任务请求的失败率。 |
任务时长 | 单位时间内任务请求的端到端平均耗时。 |
HY、YT 系列视频生成模型 以时序折线图的形式展示以下核心性能指标：
指标 | 说明 |
调用次数 | 每个时间点的调用请求数。 |
消耗积分数 | 每个时间点的积分消耗数。 |
3D 生成核心指标
以时序折线图的形式展示以下核心性能指标：
指标 | 说明 |
调用次数 | 每个时间点的调用请求数。 |
消耗积分数 | 每个时间点的积分消耗数。 |
语音模型核心指标
以时序折线图的形式展示以下核心性能指标：
指标 | 说明 |
每分钟请求数 | 每分钟的任务请求数。 |
音乐数量 | 单位时间内生成音乐的数量。 |
字符数 | 单位时间内进行合成的字符数。 |
秒数 | 单位时间内进行配音的视频时长。 |
Token 消耗数 | 单位时间内所有任务请求的 Token 消耗数。 |
错误率 | 单位时间内任务请求的失败率。 |
任务时长 | 单位时间内任务请求的端到端平均耗时。 |
