LLM Tracing & Metrics
可观测性是驯服非确定性系统的缰绳
在复杂的分布式 Agent 链路中,单次最终返回往往隐藏了 5 个内部 LLM 子链和 3 次工具调用。本关向您展示如何基于 OpenTelemetry 跨度 (Spans) 标准,精准捕获多步决策时序、Token 消耗波峰与首字延迟瓶颈。
预计掌握时间
70 分钟
阶段等级
Track 4 · 专家
Trace Count
1
UUID: trc_8ab93e110cf
Total Spans
5
Nested Max Depth: 2 layers
End-to-End Latency
1450ms
TTFT (First Token): 430ms
Total Token Cost
8240
Estimated Cost: $0.1236
全链路拓扑追踪可视化 (Distributed Tracing Display)
Span / ServiceRelative Timeline & Duration
Agent Workflow: Multi-Step recommendation
Agent1450ms
Vector Retrieval
Embedding380ms
Tool: Fetch User Preferences
Tool220ms
LLM: Smart Candidate Filtering (Gemini 1.5)
LLM680ms
Tool: LLM Translate API
Tool280ms
Span 探针审查 (Telemetry Span Inspector)
Span ID
span-root
Type / Service
Agent
Start Time Offset
+0 ms
Token Cost
4120 tokens
Payload Input (属性输入)
帮我根据历史喜好推荐 3 篇科技文章,并翻译成英文标题。
Payload Output (返回值)
Here are 3 recommended articles with translated English titles...