Tab | 说明 | 适用场景 |
全局概览 | 展示网关层面的聚合指标和 Top 榜单 | 快速了解网关整体运行状态 |
LLM 监控 | 展示大模型调用的专项指标 | 分析 LLM 请求的性能和消耗 |
MCP 监控 | 展示 MCP 工具调用的专项指标 | 监控 MCP Server 和 Tool 的健康状态 |
指标卡片 | 说明 |
总请求数 | 选定时间范围内的网关请求总数 |
平均请求延迟 P95 | 端到端请求延迟的 95 分位值（ms） |
请求最大延迟 P99 | 端到端请求延迟的 99 分位值（ms） |
错误率（%） | 失败请求占总请求的比例（HTTP ≥ 400） |
Token 消耗量 | 输入 + 输出 Token 的总消耗量 |
首 Token 延迟 TTFT P95 | 流式响应首 Token 时间的 95 分位值（ms） |
面板名称 | 说明 |
请求量趋势（QPS） | 展示每秒请求数的变化趋势 |
错误率趋势（%） | 展示错误率随时间的变化趋势 |
端到端延迟分布 P50/P95/P99 | 展示请求延迟的分位数分布趋势（ms） |
首 Token 延迟 TTFT P50/P95/P99 | 展示流式响应首 Token 延迟的分位数趋势（ms） |
Token 消耗趋势 | 展示输入/输出 Token 的堆叠趋势图 |
面板名称 | 说明 | 用途 |
Top Token 消耗（按模型 API） | Token 消耗量最高的 Top 模型 API | 识别高消耗 API，优化成本 |
Top 请求量（按消费者） | 请求量最高的 Top 消费者 | 了解流量分布，合理分配配额 |
Top 平均请求延迟（按模型 API） | 平均延迟最高的 Top 模型 API | 定位延迟高的 API，优化性能 |
Top 错误率（按模型 API） | 错误率最高的 Top 模型 API | 快速发现异常 API，排查问题 |
Top 首 Token 延迟 TTFT（按模型 API） | TTFT 延迟最高的 Top 模型 API | 优化流式响应体验 |
指标卡片 | 说明 |
总请求数 | LLM 请求的总数 |
P95 延迟 | 端到端延迟的 95 分位值（ms） |
P99 延迟 | 端到端延迟的 99 分位值（ms） |
错误率（%） | LLM 请求的错误率 |
首 Token 延迟 P95 | 流式响应 TTFT 的 95 分位值（ms） |
Token 消耗量 | LLM 请求的总 Token 消耗 |
Input Token 总量 | 输入 Token 的总数 |
Output Token 总量 | 输出 Token 的总数 |
Token 生成速率（tok/s） | 平均每秒生成的 Token 数 |
Input Cache 命中率（%） | Prompt Cache 命中的 Token 占比 |
LLM HTTP 请求数 | LLM HTTP 请求的总数 |
Chat 操作数 | Chat Completion 请求数 |
面板名称 | 说明 |
延迟分位数趋势（P50/P95/P99） | 展示 LLM 请求延迟的分位数变化趋势 |
Input/Output Token 趋势（堆叠） | 展示输入/输出 Token 的堆叠趋势 |
Prompt 长度分布（Input Token 直方图） | 展示 Prompt 长度的分布情况 |
TTFT 首 Token 延迟 P50/P95/P99 | 展示流式响应首 Token 延迟的分位数趋势 |
TTFT 分布直方图 | 展示 TTFT 的分布直方图 |
按 Provider 分组 TTFT P95 | 按不同供应商分组展示 TTFT P95 |
Provider 响应时间 P95 | 各供应商的后端响应时间 P95 |
Provider 吞吐量（请求数） | 各供应商的请求吞吐量 |
Top 调用流量 Top10 | 调用量最高的 Top10 消费者/API |
Input Cache 命中率反映模型侧 Prompt Cache 的命中情况，命中率越高说明重复 Prompt 越多，可通过启用 AI 网关缓存进一步降低成本。指标卡片 | 说明 |
工具调用次数 | MCP Tool 的总调用次数 |
工具成功率 | Tool 调用成功的比例 |
工具 P99 延迟 | Tool 执行时长的 99 分位值（ms） |
面板名称 | 说明 |
工具调用趋势（按工具分组） | 各 Tool 的调用次数趋势 |
成功率/参数错误率趋势（%） | Tool 调用成功率和参数错误率的趋势 |
按工具 P99 延迟趋势 | 各 Tool 的 P99 延迟趋势 |
平均延迟趋势 | Tool 调用的平均延迟趋势 |
工具调用明细排行（按工具） | 各 Tool 的调用次数、成功率、延迟明细排名 |
文档反馈