LLM Wiki

AI可观测性

9分钟阅读

AI可观测性（AI Observability）

一句话定义

AI可观测性是针对大模型和Agent系统的监控与分析能力建设，关注Agent执行路径、LLM推理质量、Token消耗等AI特有指标，是传统可观测性在AI时代的延伸。

摘要

AI可观测性与AI评测一起构成AI应用的质量保障体系。传统可观测性（如EagleEye、Sunfire）关注微服务间的请求延迟、错误率和资源使用等指标，而AI可观测性需要深入到决策链、上下文等LLM或Agent层面。AI可观测关注的核心指标包括Agent执行路径、首Token响应时间（TTFT）、Token消耗与成本、TPM、QPM等。从长远看，AI可观测还将与测试结合，实现AI应用的”回归测试”和发布流程标准化。

详情

起源与背景

随着AI应用从Demo走向生产，传统可观测性体系已无法满足需求。传统监控关注的是”服务是否正常运行”，而AI应用需要回答更复杂的问题：Agent的推理路径是否正确？大模型的回答是否符合预期？上下文是否完整？Token消耗是否在预算内？这些问题的答案需要全新的观测体系。

核心机制 / 工作原理

AI可观测 vs 传统可观测

传统可观测指标：
- 请求延迟（Latency）
- 错误率（Error Rate）
- 资源使用（CPU/Memory）

AI可观测指标：
- 首Token响应时间（TTFT）
- Token消耗与成本
- TPM / QPM
- Agent执行路径
- 工具调用成功率
- 上下文窗口使用率

评测链路

线上数据采样 → 样本集构建 → 评测（自动+人工） → 优化（工程优化+模型微调） → 线上AB → 指标观测

这个正循环链路是AI应用持续迭代的核心引擎。从大淘宝技术的实践来看，评测所花费的时间甚至超过Agent构建时间的两倍以上，因此建立可持续的评测链路至关重要。

执行路径评测

对于真正的Agent，不仅要从执行结果维度评测，还需要从执行路径维度评测：

  • ReAct Agent的推理路径是否合理（Thought→Action→Observation循环质量）
  • Plan Agent的执行计划质量（计划是否覆盖完整、步骤是否最优）
  • 工具调用的顺序和参数是否恰当
  • 意图识别的准确率
  • 各域Agent的协作效率

Trace 与反馈生产

生产级评测要求 Trace 成为被测 Agent 的标准输出，而不是问题发生后的补救日志。最小 Trace 应稳定记录工具名、入参、返回值、时间戳、耗时和错误；复杂 Agent 还应记录计划、检索、Guardrail、审批和降级路径。这样线上问题才能从“最终答案错了”拆回具体过程偏差，例如计划偏离、检索证据不足、工具返回被误读、多轮上下文被覆盖。

可观测性最终要进入反馈生产：线上 badcase 只有在可复现、期望行为明确、根因标签清楚、样本有代表性且完成脱敏后，才适合进入回归集。否则用例库会膨胀为噪声仓库，既拖慢评测，也让团队误以为“样本越多越安全”。

维度详解

1. 延迟与性能

  • TTFT（Time To First Token）：衡量LLM推理速度的关键指标
  • 端到端响应时间：从用户Query到完整回复的总耗时
  • 工具调用延迟分布：各外部API调用的耗时分布
  • 在秒杀AI审核场景中，审核服务的响应时间直接影响运营效率

2. 质量与正确性

  • 回答正确率：与人工标注的黄金标准对比
  • 工具调用准确率：工具选择是否正确、参数是否合法
  • 意图识别准确率：中心Agent对用户Query的分类精度
  • 在秒杀场景中，AI审核准确率95.7%是可观测体系的直接产物

3. 成本与效率

  • 每请求Token数：单次交互的总Token消耗
  • 模型成本占比：各模型在总成本中的占比
  • 缓存命中率：RAG和记忆缓存的复用效率
  • 在AI答疑场景中，准确率98%以上带来80%以上效率提升，可观测体系确保了这种提升的稳定性

4. 稳定性与可靠性

  • 错误类型分布：不同类型错误的占比和趋势
  • 超时率：请求超时的比例
  • 降级触发次数：系统降级的频率和原因
  • Agent执行路径一致性：相同Query的路径是否一致

5. 路径与决策

  • Agent执行步骤数：完成任务的工具调用轮次
  • 工具调用链：调用的工具序列
  • 关键决策点：Agent做出重要选择的节点
  • 在Multi-Agent系统中，还需要观测跨Agent的消息传递和协作效率

行业实践

大淘宝技术的AI可观测实践：

  • 秒杀AI审核场景：通过可观测体系监控AI审核的正确率和召回率，当准确率低于阈值时自动告警
  • CogentAI答疑系统：监控问题解决准确率、首Token响应时间，形成从采样到优化的完整闭环
  • 多模型投票机制的可观测：跟踪每个模型的分投票结果，分析模型之间的分歧模式
  • 评测链路：线上数据采样 → 样本集构建 → 评测 → 优化 → 线上AB → 指标观测
  • 反馈生产：线上失败 → Trace 归因 → 根因标签 → 修复建议 → Judge 校准集 / 回归集

关键观测维度总结：

  1. 延迟维度：TTFT、端到端响应时间、工具调用延迟分布
  2. 质量维度：回答正确率、工具调用准确率、意图识别准确率
  3. 成本维度：每请求Token数、模型成本占比、缓存命中率
  4. 路径维度：Agent执行步骤数、工具调用链、关键决策点
  5. 稳定性维度：错误类型分布、超时率、降级触发次数

未来方向

从长远建设的角度来看，AI可观测未来会和测试紧密结合，完成AI应用上线前的”回归测试”，实现AI应用的上线标准制定及发布流程接入。这意味着AI可观测体系将深度融入DevOps流程，成为AI应用全生命周期管理的基础设施。

关系图谱

反向链接