## 起点：在群里"接力赛"的问题

先看一个每天都在上演的线上问题处理场景：

> 用户找客服反馈："我下的单怎么还没发货？"
> 客服看到了，@产品；
> 产品看了看，@测试；
> 测试查了两下，@研发。
> 研发同学开始处理：申请线上权限、等审批、登机器、翻日志、查数据……一顿操作猛如虎，半天过去了，最后憋出一句话："数据问题，已修复"；
> 如果研发同学发现是基础设施问题，于是再@SRE，SRE开始处理：查看告警系统，登录云平台查看基础设施和中间件，又半天过去了，最后得出结论“xx系统CPU高导致接口处理时间延长”。

当最终结论出来后，再沿着原路传回去：SRE→研发→测试→产品→客服→用户。一个问题，在群里"接力"了2轮，速度快的可能耗时一天，速度慢的可能耗时几天。

这场问题接力赛的选手，各有各的难处：

- **研发的难处**：权限管得严，不能直接碰线上环境。查个问题要先过审批这道门；等到权限通过，翻日志、对数据、查代码也全靠人肉，就算是老手，大量的人工操作，速度也快不起来。
- **产品/测试运营/SRE的难处**：不具备直接定位问题根因的核心能力，只能依赖研发；但是每天大量时间耗在各种线上反馈、投诉、咨询上，相当一部分工作就是"人肉传话"，时间投入不少，价值产出不多。

一句话总结这场问题接力赛的特征：**角色不少，效率不高**

为了提升线上问题处理的效率，我们决定做一套定制化的AI agent，名称就叫 **ATAS**（AI Troubleshooting Assistant System，AI 排障助手）。
思路很朴素：让 AI 替人去线上查问题——用户把问题丢给它，它自己去查日志、看数据、做分析，最后给出结论，人只负责拍板和确认。

基于 Mastra 框架，Demo 很快就搭出来了：能对话、能查问题、演示效果相当有吸引力，原来可能要多人参与，耗费1天甚至几天才能定位的的问题，现在几分钟就能分析出来。

但真正的故事，不是demo有多惊艳，而是从demo到落地生产这个打磨阶段。真正做过后才知道：无论多么惊艳的demo，其实都是60分；而落地生产系统需要的是90分品质。
ATAS 从 60 分到 90 分这一段，看起来只有区区30分距离，但我们却花费几个月时间，填了多个坑。

## AI 的"记忆"该跟着谁走？

Demo的设计很简单直白：每个人和 AI 的对话各自独立，就像微信聊天，你的记录归你，我的记录归我。

但是在具体落地设计方案讨论的时候，发现没那么简单，并不是生搬硬套一般的agent那套就行得通。因为线上排障这事，天然就不是一个人的事：
 - 研发 A 查问题查到一半，被拉去开紧急会议，得把问题转给研发 B 接着查。结果 B 一接手就傻眼：A 查过什么日志、排除了哪些方向、AI 已经分析到哪一步——B 完全不知道，AI 也不知道。同一个问题，AI 得陪着大家从头再猜一遍。
 - 产品收到问题反馈，查了一会发现，可能需要拉运营来补充信息，看看最近做了什么活动。
 - 测试定位说是基础设施的问题，SRE发现这个基础设施其实不是问题相关的业务，需要重新排查。

如果问题和发起人绑定的话，那么上述需要协同/补充/重定位的处理，问题的权限管理会非常复杂：又要实现按人员维度的权限隔离，又要支持按问题维度的信息互通。

**排障场景里，真正的主角不是"人"，而是"事"。** 一个问题处理过程就是一个案例（我们叫 case），所有线索——用户的描述、查到的日志、数据的比对结果、AI 的分析——都应该记在案例上，而不是记在某个人的聊天窗口里。

改成"一个案例一份记忆"之后，一切就顺了：不管谁进来接手，看到的都是同一份完整的破案现场。案例转交也变得像发网盘链接一样自然——把 case 转给 B，B 点开就能续上，AI 的记忆一分不丢。只要能打开案例链接，多人都可以在同一个会话里面补充信息，继续定位。

这个坑教会我们一件事：做 AI 应用，别照搬聊天软件的习惯。**你的"记忆"围绕什么组织，需要基于你的场景来设计**。

## 给 AI 的工具箱，别直接抄人类的

ATAS最初是做成网页版的，前端通过API访问后端来查询支持的业务场景、创建案例、补充信息、查询案例状态、获取案例结果等细粒度的API。后来随着应用越来越多，研发同学提出做成mcp直接接入到大家本地使用的qoder、cursor、claude code等agent以方便大家用自己熟悉的agent。

对于mcp具体提供什么能力，第一版也是简单直白：有多少个api接口，就给mcp配多少个工具，一对一映射。这样做虽然也能运行，但是本地agent运行的效率却低得让人无法忍受。

为什么？因为那些接口是给**网页**设计的，粒度非常细。人在页面上点一次按钮，背后可能悄悄调了三五个接口——但人感觉不到，页面帮你串好了。
但 AI 可没有这个待遇：每调一个工具，它都要"思考"一轮，十几个细工具串下来，就是十几轮思考。慢、贵，而且链条越长越容易翻车——中间任何一步 AI 想歪了，整个排查就跑偏了。

打个比方：你让一个新同事去办事，是把"出门、下楼、左转、过马路、进大厅、取号……"每一步都拆成独立指令让他一步步确认，还是直接告诉他"去把证办了"？显然后者靠谱得多。

所以我们重新设计了第二版：**工具不按"接口"给，按"场景"给。** 把 AI 排障中真正需要的动作，打包成少数几个粗粒度的工具：
1）"创建案例"：不再需要web那样先让用户选择业务场景然后创建案例，而是直接用一个辅助agent来分析案例应该属于哪个业务场景，如果无法判断就告诉agent创建失败，让用户重新补充更多信息再创建；
2）"查询案例进展"：这是一个超级聚合接口，根据不同的案例状态会返回不同的结果：
 - processing：排查进行中，提示agent继续等待；
 - awaiting_input：需要用户补充信息，让agent提示用户补充信息；
 - stopped：案例被用户主动停止了，提示用户可以重新输入来触发案例继续运行；
 - completed：正常结束会返回排查报告，异常结束会返回错误原因；
3）“补充案例信息”：对应awaiting_input状态的时候，用户输入信息后，本地agent调用工具补充案例定位信息；
4）“暂停当前案例”：用户不想排查了，直接让本地agent调用这个工具告诉ATAS主动停止案例。

工具从十几个精简到几个，AI 的"思考轮次"大幅下降，速度快了，也更稳了。
当然，这样做也是有代价的：web版的交互和能力，总体上是要比mcp版的要丰富很多，但这个取舍是必须的，mcp的能力不应该是直接镜像web版的能力，因为web版本面向的是人的操作，而mcp版本面向的是agent的操作。

一句话总结：**API按细粒度能力设计，mcp按粗粒度场景设计**， 给 AI 配工具，配的是"场景"，不是"API清单"。

## 群里的机器人是没有记忆的

为了让产品、运营同学用得顺手，我们把 ATAS 接进了企业微信群：@机器人说一下问题，它就开始排查。

Demo很容易，但真正落地的一个大挑战花了很大力气才解决：机器人是没有记忆的！

企业微信的群机器人有个特点——它没有记忆，每条消息对它来说都是初见。
一个群里几十号人，可能同时@机器人聊好几个不同的案例。机器人收到的就是一场消息风暴："再查一下那个订单""上次那个问题解决了吗""帮我看下这个用户的数据"——哪个"那个"是哪个？它完全分不清，就像一个没有工单号的客服台，全靠和顾客之间的心灵感应。

想过让机器人自己记住群里的对话，但平台不提供可靠的支持；想过让用户每次报案例编号，但一长串编号没人愿意手打，体验很差，用户也记不住，输入也麻烦。

摸索了各种方式，最后选了一个"土方案"，但出奇地好用：**给每个案例配一个四位短编号**，比如 `#7xu9`，然后解析这个短编号来进行上下文关联：

- 机器人回复某个案例时，消息末尾自动带上这个短编号；
- 用户想追问，直接**引用**这条消息回复就行——这是微信里人人都会的操作；
- 后端从引用的内容里认出短编号，对上案例，上下文无缝衔接。

用户零学习成本，系统四个字符就解决了"多案并发、张冠李戴"的难题。

一句话总结：**渠道决定交互，交互决定设计**。

## AI 干得好不好，不能靠"感觉"

Agent 跑起来之后，下一个灵魂拷问是：你怎么知道它干得好不好？

"感觉挺智能的"不算答案。感觉这东西，演示的时候人人都有，出了事故就人人喊打。我们搭了一套"三位一体"的观测体系，说白了就是从三个角度盯着它：

| 看什么 | 盯什么 | 回答什么问题 |
|--------|--------|--------------|
| **过程** | 效率 | AI 每一步在干嘛？时间花在哪？调用了多少次工具？有没有绕路、兜圈子、原地打转？耗费了多少token？ |
| **结果** | 质量 | 结论对不对？人工复核的通过率多少？错都错在哪类问题上？ |
| **业务** | 价值 | 到底省了多少人力？解决问题的平均时长降了多少？大家还愿不愿意用？ |

三个角度缺一个，就会有盲区：

- 只看过程，可能"跑得飞快但结论全错"——效率掩盖了质量；
- 只看结果，可能"结论都对但成本爆炸"——查一个案例烧掉的钱够雇个人了；
- 只看业务，可能"数据好看但说不清为什么"——想优化时找不到抓手。

**过程衡量**：记录每个案例排查过程中的工具调用，token消耗，总体耗时，输入输出等；
**结果衡量**：通过一个独立的agent来对排查过程和结论进行评级（SABC），实际结果90%是SA级，剩下的主要都是信息不足或者问题太刁钻导致连AI也无法精确定位。
**价值衡量**：这是最难的一个环节，在ATAS这个场景，最后按照“节省人力”来进行衡量，那怎么计算“节省人力”呢？最后挑选了一个简单的折算公式：案例排查调用的工具次数 * 10分钟。也就是说假设人和Agent同样的定位思路和过程，Agent要调用40个工具完成分析，整体大约15-20分钟即可（可以并行调用工具），但是人去做这个分析，每个至少10分钟，串行处理最后就需要400分钟。

三位一体之后，每次迭代都有了方向：过程数据告诉你哪里慢，结果数据告诉你哪里错，业务数据告诉你值不值。

## 让 AI 给 AI"体检+优化"

60 分到 90 分的差距，大头藏在细节里。而细节问题靠感觉是找不出来的——你得亲眼看到 AI 每一轮到底"看"到了什么。

我们接入了 Langfuse，把每次对话的完整现场都录了下来：给 AI 的指令、工具说明书、每一轮塞给它的全部信息、它的每次回答。

然后我们干了件挺有意思的事：**把这些信息喂给本地Agent，让Agent去给ATAS做体检**

体检报告还真发现不少我自己都无法发现的问题：

1. **工具说明书写得自相矛盾**：同一个工具，不同场景下的描述不统一，AI 选工具时经常被"带偏"，选错工具、传错参数。
2. **塞了一堆用不上的信息**：为了"保险"，我们把所有场景的说明都塞进每一次请求——哪怕这次根本用不上。相当于每次考试，都把整本教材附在卷子上。
3. **同样的话说两遍**：一份信息，用户的消息里出现一遍，工具的返回结果里又原样带一遍。AI 被迫为同样的内容"读两遍、付两遍钱"。

对症下药：统一工具说明的写法；按场景按需注入，用不上的坚决不塞；对工具返回做裁剪去重，只留增量。

优化相当可观：**成本降了40%，效率提了 40%**，主要原因是提升了工具调用的效率，降低了上下文的无效信息。

## 写在最后：Demo只是花架子，打磨才是真功夫

AI给每个人都发了一张"体验卡"——门槛低到让人产生错觉：AI 无所不能，我好像也无所不能。只要用个牛逼的模型，一个能对话、能干活、演示起来惊艳四座的 Agent，一周甚至几天就能搭出来。 

但真正要落地到生产环境实现良好的效果，远不止Demo这么简单。**Demo只是花架子，打磨才是真功夫。** 从 60 分到 90 分，每一步都是不性感的工程活：

- 记忆怎么组织，决定了多人协作的上限；
- 工具怎么设计，决定了执行的速度和稳定；
- 平台怎么接入，决定了用户愿不愿意用；
- 观测怎么搭建，决定了你有没有优化的方向；
- 细节怎么打磨，决定了成本和质量能不能兼得。

而这些打磨的能力，恰恰是 AI 给不了你的：它来自你对业务和场景的理解、对用户体验的设计、对流程的洞察。花拳绣腿人人会耍，真功夫得自己练。

如果你也在做自己的 AI 应用，希望 ATAS的踩坑经验，能帮你少走一段弯路。



用户找客服反馈："我下的单怎么还没发货？" 客服看到了，@产品； 产品看了看，@测试； 测试查了两下，@研发。 研发同学开始处理：申请线上权限、等审批、登机器、翻日志、查数据……一顿操作猛如虎，半天过去了，最后憋出一句话："数据问题，已修复"； 如果研发同学发现是基础设施问题，于是再@SRE，SRE开始处理：查看告警系统，登录云平台查看基础设施和中间件，又半天过去了，最后得出结论“xx系统CPU高导致接口处理时间延长”。

Demo只是花架子，打磨才是真功夫：AI 排障 Agent 的 60 分到 90 分进阶之路

本文描述了一个AI线上排障系统如何从60分demo优化到90分的经历，讲述了mcp设计、Agent优化、企微机器人上下文关联等技巧。

人工智能

运维

开发工具

AI排障助手ATAS从Demo到落地的实战经验：通过案例导向记忆管理、粗粒度MCP工具设计、企业微信无记忆机器人对接、三位一体观测体系及Langfuse体检优化，解决多人协作、效率低、成本高难题，实现成本与效率40%提升。

中间件

Mastra

Agent

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

Demo只是花架子，打磨才是真功夫：AI 排障 Agent 的 60 分到 90 分进阶之路-腾讯云开发者社区-腾讯云

Demo只是花架子，打磨才是真功夫：AI 排障 Agent 的 60 分到 90 分进阶之路

Demo只是花架子，打磨才是真功夫：AI 排障 Agent 的 60 分到 90 分进阶之路

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐