框架内建对 OpenTelemetry 的支持,能够自动采集智能体决策、工具调用和多智能体工作流执行的完整追踪数据。通过 .UseOpenTelemetry() 方法在 IChatClient 层面和 Agent 层面进行仪器化,追踪数据遵循 GenAI 语义规范,包含 token 使用量、延迟、工具调用参数和响应等信息。
DevUI 是一个基于浏览器的本地调试工具,提供智能体消息流、工具调用详情和状态变化的实时可视化展示。开发者可以在 IDE 中直接查看工作流图(Mermaid 或 Graphviz 格式)、每个执行步骤的详细信息以及迭代计数,大幅提升了多智能体系统的调试效率。
MAF 的 OpenTelemetry 追踪数据可以自动流入 Application Insights,通过新建的 Agents 视图进行集中监控。Application Insights 提供按智能体维度的指标面板,包括调用次数、token 使用趋势、延迟百分位数和错误率等。此外还支持 Azure Managed Grafana 预置仪表板,实现运营层面的持续监控。
Foundry 平台提供端到端的评估能力,包括意图解析准确率、工具调用准确性、任务遵循度、相关性和可信度等维度。评估结果直接与追踪数据关联,当发现质量评分下降时可以快速定位到具体的执行路径。Prompt Optimizer 工具可对提示词进行结构化优化,形成"优化-测量-再优化"的持续改进闭环。