功能简介
本文为您介绍腾讯云数据仓库 TCHouse-C 的 Agent 可观测服务。该服务由腾讯云数据仓库产品团队基于开源 Langfuse 深度构建，不同于将 Langfuse 简单托管的方案，该服务在架构层面对 Langfuse 进行了腾讯云原生化重构——业务能力层 100% 兼容 Langfuse 开源生态，数据底座则原生融合 TCHouse-C、TCBase、TCLake 三大腾讯云数据存储，分别承载热查询、元数据与冷归档。这种多引擎协同的存储架构，让 TCHouse-C 的 Agent 可观测服务同时具备 Langfuse 开源生态的开放性、ClickHouse 的高性能、与腾讯云数据湖的资产沉淀能力。
通过全链路追踪、提示词管理、自动化评测与数据资产化能力，Agent 可观测服务帮助企业实现 LLM 应用与 Agent 行为可追溯、成本可量化、效果可评估、数据可沉淀，系统性地解决大模型应用在生产环境中面临的输出不可控、成本不可见、风险不确定、数据难复用等问题。
TCHouse-C 的 Agent 可观测服务主要承担以下应用场景：
场景 | 角色 | 核心价值 |
Agent 端到端问题定位 | SRE · 值班开发工程师 | 当用户反馈 Agent 输出错误或响应缓慢时，可凭单条反馈快速定位至对应会话的完整调用链路，还原执行现场、完成根因归因，并将其沉淀为回归测试用例。 |
成本管理与性能分析 | 产品经理 · 技术负责人 | 当业务规模扩大、调用成本快速膨胀时，可按模型、按 Agent、按用户维度拆解 Token 消耗与费用归因，识别高成本调用与 Prompt 膨胀根因，结合延迟分布优化性能瓶颈，让每一次调用支出透明可控。 |
用户会话行为分析 | 产品经理 · 数据分析师 | 当需要了解用户真实使用情况时，可通过会话回放还原完整多轮交互路径，分析用户满意度分布与高频问题模式，识别流失节点与低质输出，为产品迭代提供数据依据。 |
模型效果评估迭代 | 算法工程师 · MLOps | 当需要验证模型或 Prompt 变更效果时，可通过模型自动评分、人工标注与用户反馈三类 Score 对输出质量进行多维度量化，将坏例沉淀为评测集，驱动回归测试与训练数据生产，形成上线—观测—评估—优化闭环 |
统一运营与 Tool/Skill 洞察 | 平台管理员 · 架构师 | 当平台承载多部门 Agent 规模化运营时，可按 Project 维度统览各 Agent 的调用量、错误率与延迟趋势，结合 Trace 元数据标签识别高价值 Tool/Skill 与低使用率模块，为资源分配与能力建设提供数据支撑。 |
行为审计与合规风控 | 合规管理员 · 安全团队 | 当 Agent 涉及高权限操作或需满足行业监管要求时，Trace 完整记录每次调用的输入输出、工具调用参数、用户标识与时间戳，形成可审计的行为链与证据链，满足金融、政务、医疗等行业合规与 AI 算法备案对可观测性的要求。 |
功能范围
TCHouse-C 的 Agent 可观测服务具有以下核心能力：
全链路 LLM 可观测
LLM 应用的执行过程涉及复杂且非确定性的多步交互——LLM 调用、工具调用、向量检索、Agent 协作，环节繁多且难以肉眼排障。Agent 可观测服务提供完整的追踪能力，支持按 Token 消耗、调用耗时、用户、Project 等多维度切分。
全链路追踪：将复杂的执行过程划分为三个核心层级，实现全链路可观测。
Session（会话层）：完整记录 Agent 多轮交互的上下文，可复盘整个对话流，精准定位幻觉或上下文漂移环节。
Trace（追踪层）：单次端到端交互的完整记录，以树状或图状展示执行路径，快速定位性能瓶颈与高成本环节。
Generation/Span（执行层）：每一次 LLM 调用、工具调用、检索操作的原子级透明展示，含输入输出、Token 用量、耗时与中间结果。
会话与用户跟踪：支持将多轮对话作为会话进行跟踪，并关联用户信息。
Agent 可视化：可将 Agent 的执行流程以树状或图状展示。
零代码与原生 SDK 双通道接入：支持 Dify、LangChain、LlamaIndex、AutoGen、CrewAI、RAGFlow、FastGPT 等 15+ 主流 LLM 应用框架的零代码自动埋点，同时提供 Python、TypeScript、Java、Go 多语言原生 SDK，并兼容 OpenTelemetry GenAI 协议。
腾讯云 AI 生态原生打通：原生集成腾讯混元大模型、大模型知识引擎 LKE、TI 训练平台、VectorDB 向量数据库，自动采集 Token、时延、安全审核、RAG 召回质量、答非所问率等关键指标。
提示词管理（Prompt Management）
提示词管理是一种系统化方法，用于存储、版本控制和检索 LLM 应用中的提示词。无需将提示词硬编码在应用程序代码中，而是可以在 Langfuse 中进行集中管理。通过将提示词托管在 Langfuse 中，非技术团队成员可以直接在 UI 界面中更新提示词，应用程序会自动获取最新版本，无需工程团队参与或触发部署流程。
Prompt 与代码解耦：业务人员直接在 UI 调整 Prompt，代码侧仅关联标签，无需重新部署。
多版本与灰度：支持版本管理、版本回滚、灰度发布、A/B 流量分配。
线上 Hot-Reload：通过 TCBase Realtime 推送 Prompt 变更，应用层自动拉取最新版本。
Playground 实验场：上线前对比不同 Prompt 版本的执行链路与效果差异，确认无误后再全量发布。
评估（Evaluation）
为 LLM 应用提供可重复、可量化的质量检验机制，让发布决策有据可依：
离线评估：用固定数据集对新 Prompt/新模型做回归测试，避免线上"翻车"。
在线评估：对实时 Trace 自动评分，捕捉生产环境真实问题；低分案例自动入库，形成数据集闭环。
LLM-as-a-Judge：通过腾讯云多模型 Judge 调度接入混元、DeepSeek、GPT-4o、Claude 等模型，支持加权平均、多数投票、串行级联等多种裁判策略，灵活衡量相关性、安全性、事实准确性等维度。
人工标注：结构化的人工审核流程与自定义任务队列，支持团队协作打分。
SDK 评分：通过 Langfuse API/SDK 集成自定义评估流水线、规则检查与自动化工作流。
数据资产化（Data Asset）
这是 TCHouse-C 的 Agent 可观测服务区别于纯托管型方案的核心能力——多存储架构带来的天然优势。
冷热分层自动归档：30 天热数据保留在 TCHouse-C，自动 TTL 至 TCLake，存储格式为开放的 Iceberg + Parquet。
Trace 即评估集：线上真实 Trace 自然沉淀为离线评估集，可直接用于新模型 Regression 测试与训练数据生产。
数据湖联邦查询：TCLake 数据自动注册到 DLC 数据目录，BI、Spark、Flink、TI 训练平台可直读，用户对数据具备完整所有权与二次复用能力。
跨链路关联分析：Agent 运行数据与原有 TCHouse-C 上的业务日志、订单数据同库可 JOIN，快速定位由 LLM 行为引发的业务异常。
产品架构
TCHouse-C 的 Agent 可观测服务采用"Langfuse 业务层 + 腾讯云三件套数据底座"的分层架构，每一层都选用最适合其负载特性的腾讯云数据产品：
架构层 | 选型 | 承载内容 | 选型理由 |
业务能力层 | Langfuse v3（深度集成） | Tracing/Eval/Prompt/Dataset/Playground 等 | 100% 兼容开源生态，迁移零成本 |
OLAP 热存底座 | TCHouse-C（ClickHouse 引擎） | Trace/Observation/Score/Session 高吞吐写入与亚秒级查询 | 单实例 10w QPS 写入，分钟级聚合毫秒返回，存储成本仅为 ES 方案的 30~40% |
OLTP 元数据底座 | TCBase（Supabase 托管版） | Project/User/Auth/Prompt 版本/Dataset/元数据 | Postgres + RLS 行级安全天然支持多租户隔离，内置 Auth/Realtime |
冷归档与数据资产底座（接入中) | TCLake（云原生数据湖） | 30 天后冷数据自动归档，Iceberg + Parquet 格式 | 注册到 DLC 数据目录，BI/Spark/Flink 可直读，Trace 即评估集 |
辅助组件 | Redis/COS/TDMQ-CKafka | 限流缓存、附件存储、计量管道 | 复用腾讯云成熟基础设施 |
计费说明
邀测期内， Agent 可观测服务本身免费，仅对底座存储资源计费。各底座计费方式如下：
计费项 | 邀测期策略 |
Agent 可观测服务 | 免费 |
TCHouse-C 热存 | |
TCBase 元数据存储 | |
TCLake 冷存（暂未接入） |
