# skill-up：Agent Skill 的评测和进化工具

---

**skill-up** 是阿里开源的 Agent Skill 评测与进化工具。它的核心逻辑是：用声明式 YAML 写评测用例，跨多个 Agent 引擎跑评测，让 AI 自动修复失败的 Skill 或补充评测用例，然后重新跑——形成一个评测到进化的闭环。

---

## 一、Agent Skill 也需要 CI/CD

软件工程有单元测试和 CI，Agent Skill 却没有。大多数 Skill 的工作流是靠人工"试一下行不行"来验证的。改了 SKILL.md 之后，不知道会不会破坏已有场景，也不知道新的边界情况能不能覆盖。

skill-up 把这个问题工程化了：

```text
eval.yaml + cases/*.yaml（声明式评测配置）
         │
         ▼
    skill-up run → 多引擎评测 → 结构化报告
         │
         ▼
   skill-upper 读失败报告 → 自动修复 Skill 或扩展评测用例
         │
         ▼
    重新 skill-up run → 循环直到通过
```

---

## 二、声明式评测：YAML 定义一切

评测环境、引擎、模型、用例全部在 YAML 中声明：

```yaml
# eval.yaml
engine: claude_code
model: claude-sonnet-4-5
cases:
  - case_id: basic_usage
    prompt: "帮我创建一个 Python 项目"
    judge:
      type: agent_judge
      rubric: "必须包含 setup.py 或 pyproject.toml"
```

用例单独放在 `cases/` 目录下，每个文件一个 case。可以给不同的 case 指定不同的模型、不同的 judge 策略。结构化的评测配置让整个流程可重复、可追溯——不像手动试一次就没了。

---

## 三、三种 Judge：规则、脚本、Agent

skill-up 支持三种评测策略：

| Judge 类型 | 适用场景 |
|-----------|---------|
| **rule_based** | 可量化：文件存在、正则匹配、退出码 |
| **script** | 需要自定义逻辑：调用外部脚本做复杂校验 |
| **agent_judge** | 需要语义判断：Agent 输出是否符合预期行为 |

`agent_judge` 是给 AI 评测 AI——给 Judge Agent 一个 rubric（评分标准），让它判断被测 Agent 的输出是否达标。这让评测覆盖了那些无法用规则和脚本判断的场景。

---

## 四、多引擎支持

一个 Skill 应该在多个 Agent 引擎上都表现一致。skill-up 支持四个引擎：

| 引擎 | 标识 |
|------|------|
| Claude Code | `claude_code` |
| Codex | `codex` |
| Qoder CLI | `qodercli` |
| 通义灵码 | `qwen_code` |
| 自定义 | `engine.custom` |

同一个 eval suite 可以跨引擎跑。GitHub Action 里一行配置就能让 PR 同时检测 Claude Code 和 Codex 下的表现差异。

---

## 五、skill-upper：让 AI 驱动进化

skill-up 的评测报告是给 skill-upper 吃的。skill-upper 是仓库内置的 Agent Skill，安装后你的 Agent 可以直接驱动整个进化循环：

```bash
# 安装 skill-upper
npx skills add https://github.com/alibaba/skill-up/tree/main/skills/skill-upper -g -a claude-code -y
```

然后对你的 Agent 说：

```text
Use skill-upper to evaluate this Skill.
Read SKILL.md, identify its most important behaviors, create realistic eval
cases with appropriate judges, and run skill-up.
```

Agent 会读你的 SKILL.md，识别关键行为，生成评测用例，跑 skill-up，拿到失败报告，然后决定是该修 Skill 还是修评测用例。修完重新跑，直到关键行为全部通过。

这个循环的每一步都有产物落盘——`iteration-1/result.json`、`iteration-2/result.json`——可以追溯每次改动的效果。

---

## 六、CI 就绪：GitHub Action

仓库自带 GitHub Action，Pull Request 触发自动评测：

```yaml
- uses: alibaba/skill-up@main
  with:
    engine: claude_code
    api-key: ${{ secrets.ANTHROPIC_API_KEY }}
    skill-target: evals/eval.yaml
```

PR 改了 Skill 文件就自动跑评测，结果直接挂在 PR 上。action 镜像预置了 skill-up CLI 和三个引擎的 CLI，跑一次就是"拉镜像，评测"。

---

## 七、安装

```bash
curl -fsSL https://raw.githubusercontent.com/alibaba/skill-up/main/install.sh | bash
```

初始化评测项目：

```bash
skill-up validate ./evals    # 验证 eval.yaml 和 case 文件
skill-up list-cases ./evals  # 列出所有用例
skill-up run ./evals         # 跑评测，生成报告
```

结果输出：

```
evals/
  result.json       # 原始结果
  grading.json      # Anthropic 兼容评分
  benchmark.json    # 基准对比
  report.html       # HTML 报告
```

---

## 结语

Agent Skill 生态成熟到一定阶段，评测和进化工具一定会出现——就像单元测试之于代码。skill-up 把这个需求做成了声明式 YAML + 多引擎 + 多 judge + AI 驱动进化的完整工具链。


skill-up 是阿里开源的 Agent Skill 评测与进化工具。它的核心逻辑是：用声明式 YAML 写评测用例，跨多个 Agent 引擎跑评测，让 AI 自动修复失败的 Skill 或补充评测用例，然后重新跑——形成一个评测到进化的闭环。

skill-up：Agent Skill 的评测和进化工具

软件研发

开发工具

人工智能

测试

skill-up是阿里开源AgentSkill评测与进化工具，通过声明式YAML定义评测用例，支持多引擎跨平台运行，结合规则、脚本和AI三种Judge策略，实现自动化修复与循环进化。内置GitHub Action实现CI集成，PR触发自动评测，让AgentSkill开发具备工程化质量保障。

软件工程

单元测试

代码解释

Python

Agent

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

skill-up：Agent Skill 的评测和进化工具-腾讯云开发者社区-腾讯云

skill-up：Agent Skill 的评测和进化工具

skill-up：Agent Skill 的评测和进化工具

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐