AI Engineering From Scratch ｜教你亲手搭建 AI 系统的开源课程

最近不少朋友在问有没有合适开发工程师学习的课程，今天这篇文章介绍它：AI Engineering From Scratch 。

它教你从数学和机器学习的地基开始，一路走到深度学习、Transformer、大语言模型、工具、智能体、MCP、基础设施、安全，以及结业项目，全程强调亲手搭建。

AI Engineering From Scratch guide hero showing layered curriculum phases from math to LLMs, agents, production infrastructure, prompts, skills, and MCP servers

它是一套结构化的学习系统：课程文件夹、可运行代码、文档、测验、自动生成的网站数据、Agent 技能、提示词、脚本，以及贡献规范。

它的目标人群是想看透 API 调用之下那一层技术栈的人。

这个仓库的 84%的学生已经在用AI工具了，但只有18%觉得自己能在专业场景下用好。

AI Engineering From Scratch 是一个开源 AI 课程仓库。

每节课的目标都是：讲清概念，从零实现它，和生产级库做对比，最后交付一个可复用的产物，比如提示词、技能、智能体或 MCP 服务。

为什么要学它

这个仓库之所以重要，是因为很多 AI 开发者会调 API，却说不清 API 调用之下藏着的数学、模型行为、检索失败、智能体循环、评估体系，或者生产环境里的取舍权衡。

课程的前提很简单：先自己把小的版本搭出来，再用框架。这个模式能让 PyTorch、Transformers、LangGraph、MCP 和生产级 RAG 少一点"魔法感"。

它合适的是那些想要一条学习的路径、而不是一个教学视频列表的开发工程师。

对于那些想把团队对 AI 的热情转化成可持续内部能力的组织，它尤其有价值。

架构与模型

仓库围绕"阶段（phase）"和"课程（lesson）"组织。

每节课都有统一的形态：文档、代码、测验和产出物。脚本则负责审查课程、生成目录、安装技能和构建公开网站。

运行配置

运行的下面命令即可开始学习课程。

git clone https://github.com/rohitg00/ai-engineering-from-scratch.git
cd ai-engineering-from-scratch

# 运行第一节课的实现
python phases/01-math-foundations/01-linear-algebra-intuition/code/vectors.py

# 需要时安装 Python 依赖
python -m pip install -r requirements.txt

在把它接到关键数据或大型工作区之前，先做一个小任务验证集成是否成功。

# 在支持的 Agent 里找到你的起点
/find-your-level

# 学完某个阶段后做自测
/check-understanding 3

# 查看生成的目录
python3 scripts/build_catalog.py --stdout

# 把某阶段的课程技能装到目标技能目录
python3 scripts/install_skills.py <target-dir> --phase 14

#&nbsp;不跑重活，只校验课程代码
python3 scripts/lesson_run.py

课程细节

课程循环本身就是产品

README 描述了一种反复出现的模式：问题（problem）、概念（concept）、亲手实现（build it）、用框架实现（use it）、交付（ship it）。这个结构比任何单一的课时数字都重要，因为它强制要求先有概念理解，才能用框架。

举个例子，一节课可以先用纯 Python 实现一个概念，再和某个库做对比，然后导出一个提示词或技能，方便你以后使用这个概念。

lesson/
  docs/en.md # 讲解
  code/      # 可运行实现
  quiz.json  # 理解度测验
  outputs/   # 提示词、技能、智能体或 MCP 产物

从基础一直到智能体

阶段结构从环境搭建和数学起步，经过机器学习、深度学习、视觉、NLP、语音、Transformer、生成式 AI、大语言模型、多模态系统、工具、智能体、生产、安全，最后到毕业项目。

这种广度让它作为参考手册很有用，但也容易让人望而生畏。

/find-your-level 技能是一个务实的答案：如果你的真实短板是智能体评估或生产级 RAG，那就别从阶段零开始。

课程可被复用

一个鲜明的模式是：课程结束时不只留下知识，它会产出实实在在的产物：提示词、技能、智能体模板，或者 MCP 相关产出。这意味着学习可以反哺你日常的编码 Agent 工作流。

主干是智能体工程

仓库里以智能体为核心的阶段，覆盖了智能体循环、ReWOO、Reflexion、Tree of Thoughts、函数调用、记忆、LangGraph、AutoGen、CrewAI、基准测试、可观测性、提示注入防御、验证门、交接机制，以及 Workbench 脚手架。

这部分很有价值，因为很多智能体教程跳过了那些"无聊"的部分：状态管理、评估、安全、故障恢复、交接、工具失效。一套把这些碎片串起来的课程，比又一个 hello-world 智能体教程有用得多。

如何编写智能体之前也有专门文章介绍过：开发自主式智能体 Agentic AI 的十二个步骤。

Phase 1，数学基础，会劝退大部分人。

22节课。线性代数、矩阵变换、微积分、梯度、链式法则、自动微分、概率论、贝叶斯、信息论、熵、KL散度。

第一节课要求你用纯Python实现矩阵乘法，不能用NumPy。

这个仓库的每一节课都走同样的节奏：先抛出一个真实问题，然后用图表建立直觉，接着让你用裸代码从数学公式开始实现。

不用任何框架，纯Python写。

写完了再用PyTorch或sklearn重新实现一遍，对比两边的行为。

Phase 7 从零实现 Self-Attention。

这个课程需要写Q、K、V三个矩阵，亲手计算了softmax(QK^T/√d_k)。

你盯着注意力权重矩阵看了很久，看着它从随机初始化变得有意义，看着不同的Token之间建立起联系。

不同层的Head关注的不是"不同维度的语义特征"这种空话，而是从底层计算中涌现出来的、可以被数学描述的模式。

你甚至能解释第二层和第十二层为什么不同，因为你知道Attention在浅层和深层学到的表示分布是不一样的。

Phase 10 训练一个124M参数的Mini GPT。

需要你亲手写了BPE分词器，搭了数据Pipeline，配置了分布式训练，然后看着perplexity从几千降到几十。

你可能第一次理解了"预训练"这三个字到底意味着什么。

不是"用大量数据训练模型"这种废话，而是一个具体的、可以被量化的过程：

模型在海量文本上学习下一个Token的概率分布，从随机猜测逐渐收敛到能生成连贯的文本。

Phase 14 用120行纯Python写一个Agent Loop。

没有LangChain，没有AutoGPT，就是一个while循环加工具调用。

写完之后你可能会一件事：你之前在公司搭的那个Agent为什么老是陷入死循环。

不是模型的问题，是你的循环没有设MAX_STEPS，没有中间状态的验证门，Agent一旦走错方向就刹不住车。

适合谁

常见问题

Q：AI Engineering From Scratch 是一个框架吗？

不是。

它是一份课程和参考仓库，包含课程、代码、测验、产出物、脚本和一个公开网站。

Q：我应该从哪里开始？

如果你用的 Agent 装了相关技能，就用 /find-your-level。

否则，从你最弱的前提知识开始：数学、机器学习、深度学习、大语言模型、智能体，或者生产。

Q：我需要 GPU 吗？

不是每节课都需要。

早期课程很轻量，而深度学习、本地模型、微调、多模态这类课程，有 GPU 或云端算力会更顺。

Q：它提供证书吗？

不提供。

仓库的定位是务实的开源学习，不是受认可的证书项目。

Q：课程只有 Python 吗？

Python 是绝对主导的实用路径，但 README 里也提到了 TypeScript、Rust 和 Julia。

在假设某节课覆盖某语言之前，先查一下它的代码文件夹。

Q：内置的技能有哪些？

顶层的技能包括用于水平定位的 /find-your-level，以及用于阶段测验的 /check-understanding <phase>。课程产出物里还有更多提示词和技能。

你会克隆仓库开始学习吗？

欢迎评论区留言。