本文是【LLM架构管窥 ◆ 系列小文】的第4篇。

【LLM架构管窥 ◆ 系列小文】旨在快速盘点LLM架构特点、特别是局限性，为后续【基于SDD的AI编程最佳实践】提供必要的认知准备。


------------------
## 0、几个概念

**总参数量** = 词嵌入层参数 + 解码器层参数
**小模型** 就是在参数量上显著小于LLM的模型

所有参数 都放在 safetensors **模型文件** 中

**预训练** 就是为了 生成合理的 参数值
**后训练** 也是为了 生成合理的 参数值

蒸馏、微调、强化学习，都是后训练
大模型变成小模型采用"蒸馏+量化+剪枝"的组合策略


--------
## 1、LLM推理的数据流

LLM内部，Token经历从“文本片段” -> “ID” -> “向量” -> “融合上下文的向量” -> “下一个Token的概率” -> “新的Token”的完整生命周期。

输入的 Token 向量会与存储在显存中的全部 1750 亿参数所构成的权重矩阵进行交互（通过矩阵乘法和加法），最终输出结果。

所以，生成一个 Token，本质是把 1750 亿参数从 HBM（显存）搬到 SRAM（计算单元）做巨大的矩阵乘法，然后存回显存。

<div align="center"><img src="https://developer.qcloudimg.com/http-save/yehe-11563618/6c787a90ac49f1c76b90749102b3e9c9.webp" width="50%"></div>

<div align="center"><img src="https://developer.qcloudimg.com/http-save/yehe-11563618/5385cef29ae456142c0221113145c079.jpg" width="50%"></div>


------------------

## 2、推理需要的.safetensors模型文件

1750亿参数放入.safetensors模型文件。`.safetensors` 文件是**二进制文件**，它的设计目标是高效存储和加载张量（Tensor）数据，同时兼顾安全性。

<div align="center"><img src="https://developer.qcloudimg.com/http-save/yehe-11563618/5997303f17ebcf6b3f01382b508b32ca.jpg" width="70%"></div>

1750亿参数是参与整个推理过程的参数总数，这些参数分布在模型的不同组件中：
- 词嵌入层（Token到向量的转换）
- 注意力机制（融合上下文信息）
- 前馈神经网络（非线性变换）
- 输出层（生成概率分布）


------------------

## 3、模型文件与规范

#### 3.1 目录规范

以Hugging Face Transformers模型为例，一个完整的模型目录包含：

**核心文件：**
- `config.json`：模型配置（架构类型、隐藏层大小、注意力头数、层数等超参数）
- `model.safetensors`：模型权重文件（或`pytorch_model.bin`）
- `tokenizer.json`：分词器配置
- `tokenizer_config.json`：分词器初始化参数
- `generation_config.json`：文本生成参数配置

**大模型的分片存储：**
对于大型模型（如70B参数），权重文件会被拆分为多个分片：
- `model-00001-of-00005.safetensors`
- `model-00002-of-00005.safetensors`
- `model.safetensors.index.json`：索引文件，记录每个权重存储在哪个分片

<div align="center"><img src="https://developer.qcloudimg.com/http-save/yehe-11563618/0ca92f9d5e3b967ee7f040225936b565.jpg" width="70%"></div>


#### 3.2 内容加载

训练好的模型参数以**张量（Tensor）**形式存储，包含：
- **权重矩阵**：各层的线性变换参数
- **偏置项**：各层的偏置参数
- **层归一化参数**：LayerNorm的gamma和beta
- **位置编码**：位置嵌入参数

这些参数按照模型架构层次组织，如`model.layers.0.attention.wq.weight`表示第0层注意力机制的查询权重矩阵。

当部署到你的笔记本电脑时，推理框架（如Transformers、llama.cpp）会：
1. 读取`config.json`构建模型架构
2. 加载权重文件到内存（或GPU显存）
3. 将输入文本通过分词器转换为token ID
4. 执行前向传播计算，生成输出

**注意**：生成每个token确实需要将相关参数从存储加载到计算单元，但实际实现中会通过内存映射（mmap）等技术优化，避免全量拷贝，实现零拷贝或延迟加载。


------------------
## 4、模型训练的粗理解

所谓 大模型训练，就是得到这1750亿参数值的过程。包括可训练权重（Trainable Weights）和偏置（Biases）等。

训练初始状态： 这 1750 亿个参数通常是随机初始化的（符合某种分布的高斯噪声）。

训练过程： 通过海量文本数据，利用反向传播（Backpropagation）和梯度下降（Gradient Descent），调整这 1750亿个浮点数。

训练结果： 这些参数就固定了（Frozen）。以后推理时，这些参数不再改变，只是被读取。



【LLM架构管窥 ◆ 系列小文】旨在快速盘点LLM架构特点、特别是局限性，为后续【基于SDD的AI编程最佳实践】提供必要的认知准备。

LLM数据流管窥：推理数据流、模型文件

LLM内部，Token经历从“文本片段” -> “ID” -> “向量” -> “融合上下文的向量” -> “下一个Token的概率” -> “新的Token”的完整生命周期。

云计算

人工智能

架构设计

本文深入解析LLM架构中的推理数据流与模型文件结构，详细说明1750亿参数如何通过矩阵运算生成Token，并介绍.safetensors模型文件的组成与加载机制，包括词嵌入层、注意力机制等核心组件，为理解大模型运行原理提供技术参考。

强化学习

内存映射

数据流

4核4G3M云服务器 新用户低至38元/年！

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

LLM数据流管窥：推理数据流、模型文件-腾讯云开发者社区-腾讯云

LLM数据流管窥：推理数据流、模型文件

LLM数据流管窥：推理数据流、模型文件

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐