大模型主流激活函数解析：ReLU/GELU/SwiGLU原理差异，拆解FFN前向逻辑18.8

一、前言

很多刚接触大模型微调、模型结构分析、推理优化的同学，第一眼看到 Transformer、FFN 前馈网络、SwiGLU、GELU、ReLU 这些名词都会觉得很抽象。大家普遍只知道注意力机制是大模型灵魂，却不知道激活函数才是决定模型深浅、长文本效果、梯度会不会消失、能不能叠几十上百层的关键底层组件。

不管是Qwen系列、ChatGLM2、ChatGLM3等几乎所有国产主流大模型，底层FFN结构都在疯狂迭代激活函数。从最早ReLU，到GELU，再到GLM2专用Gated GELU，GLM3、Qwen全面升级SwiGLU，每一次激活函数改动，都直接改变长文本理解、深层语义保留、训练收敛速度、显存占用、推理稳定性。

今天我们结合ChatGLM2-6B、ChatGLM3-6B两个模型，从基础完整理清大模型激活函数的核心知识，仔细的分析模型结构打印结果，手动复现FFN完整运算，一眼分清不同大模型激活优劣差异。

二、激活函数基础

1 激活函数核心定义

神经网络本质是无数线性矩阵乘法堆叠而成，如果全程只做线性运算，无论堆叠多少层网络，最终整体依然等价于单层线性变换。线性网络无法拟合复杂语义、上下文关联、逻辑推理、长文本依赖等高维非线性特征，完全无法胜任大语言模型任务。

激活函数，就是插入在线性变换之间的非线性数学函数，它给神经网络引入非线性表达能力，让几十层、上百层 Transformer 堆叠有效，让大模型可以学习人类语言复杂逻辑、上下文关联、语义抽象、知识记忆。

简单直白理解：

• 线性计算 = 死板固定规则映射
• 激活非线性 = 模型拥有抽象、理解、推理、记忆能力

大语言模型Transformer结构里，注意力层负责上下文关联，FFN前馈神经网络全权负责语义特征变换、信息提炼、知识存储，而FFN性能100%由激活函数决定。

2. 大模型对激活函数严苛要求

普通CV图像模型激活函数选择很宽松，但千亿级、百亿级大语言长文本模型，对激活函数有极高硬性标准：

• 1. 深层网络不出现梯度消失或梯度爆炸，支持几十层甚至上百层堆叠
• 2. 全程定义域平滑连续，导数稳定，训练收敛更快更稳定
• 3. 无神经元死亡问题，不会大量权重永久失效
• 4. 适配长序列文本，超长上下文深层语义不退化
• 5. 计算简单高效，适配半精度FP16推理，降低显存占用
• 6. 门控结构自适应权重筛选，自动保留有效语义、过滤冗余噪声

早期ReLU、Sigmoid、Tanh完全无法满足大长文本大深度模型需求，因此大模型行业才一步步迭代出GELU、Gated GELU、SwiGLU三代主流激活方案。

3. 大模型激活函数发展迭代

• 初代ReLU：早期Transformer通用激活，简单快速，但神经元极易死亡，深层梯度直接消失，无法做大深度长文本模型
• 二代GELU：BERT、早期小参数量大模型标配，平滑无死区，语义拟合更强，但深层长文本依旧梯度衰减严重
• 三代门控Gated GELU：ChatGLM2专属架构，单线性拆分双支路，门控加权语义，大幅缓解梯度问题
• 四代SwiGLU：Qwen全系、ChatGLM3全系标配大模型黄金激活，SiLU门控 + 双支路 FFN，长文本、深层网络、训练稳定性全面拉满

4. 理解大模型FFN里的门控

相信大家刚开始也是，初一看gate、门控就觉得高深，其实门控 = 智能开关 + 权重调节阀，没有任何玄学，通俗理解大模型门控机制：信息开关，语义筛选阀门。

一句话本质定义：

• 普通激活：所有输入信息一视同仁，全部原样加工传递
• 门控激活：模型自己判断哪些语义重要保留、哪些没用过滤弱化

门控就是Transformer FFN内部，自动给每个词语特征分配权重大小。

用生活最好懂类比：

我们看一段长句子：今天天气很好，我打算出门去公园散步晒太阳

• 注意力机制：找到词语之间关联关系
• 门控机制：重点保留“天气、出门、公园、散步”关键信息，弱化无关废话虚词

就像家里灯光开关：

• 重要信息：全开、高亮通过
• 次要信息：调低亮度、减弱传递
• 无用噪声：几乎关闭，不往下一层传播

大模型FFN门控工作完整逻辑：

• 1. 隐藏特征进来，拆成两条完全独立支路
• Value 支路：老老实实传递原始语义内容
  • Gate 支路：专门计算权重大小
  • 2. Gate经过SiLU/GELU激活，变成0~1之间的系数
• 3. 权重 × 内容 = 最终输出
  • 系数≈1：信息完整保留
  • 系数≈0：信息几乎被屏蔽

门控的核心作用：

• 没有门控：
  • 所有上下文、所有token、所有语义权重一模一样
  • 深层堆叠几十层后，有用信息、垃圾噪声全部混在一起
  • → 长文本后半段混乱
  • → 深层梯度消失
  • → 模型记不住上下文、容易幻觉
• 有门控：
  • 每一层FFN都自动提纯语义
  • 层层过滤噪声、层层突出重点
  • 越深的层，语义越精准、逻辑越清晰

ReLU/GELU vs Gated GELU/SwiGLU核心区别：

• 普通 ReLU、GELU：单支路，无脑统一激活
  • 所有信息平等处理，没有筛选能力
• Gated GELU、SwiGLU：双支路，一条管内容，一条管开关
  • 门控自主决定信息流量大小

三、常见激活函数

1. ReLU激活函数

1.1 公式定义

ReLU(x)=max(0,x)

输入大于0，原样输出；输入小于等于0，直接输出0。

1.2 函数特性

• 1. 分段线性，计算极致简单：只有判断大小、取最大值运算，GPU算力消耗极低，前向、反向传播速度极快，早年CNN卷积神经网络首选激活。
• 2. 单侧稀疏激活：负数全部置零，天然稀疏，大量神经元不工作，理论上节省计算与显存。
• 3. 无梯度饱和问题：正数区间梯度恒等于1，深层网络不会出现梯度无限趋近0的情况。

1.3 大模型应用缺点

神经元死亡现象： 负数输入长期梯度为0，权重永远不再更新，神经元彻底报废。Transformer深层堆叠后，大量FFN神经元失效，模型知识残缺、表达能力暴跌。

无法表达负向语义： 自然语言有否定、转折、反向逻辑，ReLU完全压制负特征，不适合语言建模。

非线性能力极弱： 本质分段线性，多层叠加依然近似线性，无法拟合复杂长文本逻辑、因果推理。

梯度分布极不稳定： 深层堆叠容易梯度爆炸，训练震荡剧烈，千亿大模型几乎无法稳定收敛。

量化效果极差： 正负分布极端不均匀，INT4/INT8量化精度断崖式下跌，不适合落地部署。

1.4 适用场景

图像CNN小模型、浅层神经网络，完全不适合Transformer大语言模型。

1.5 直观图示

​编辑

重点说明：

• 正数原样输出，负数直接归零
• x<0 梯度 = 0，极易出现神经元永久死亡
• 拐点尖锐不光滑，深层Transformer极易训练震荡
• 早已被大语言模型全面淘汰

2. GELU激活函数

2.1 公式定义

GELU(x) = x ⋅ Φ(x)

Φ(x)是高斯正态分布累积概率函数，通俗理解：ReLU平滑概率版。

2.2 函数特性

• 1. 全程平滑连续，没有ReLU尖锐拐点，梯度顺滑
• 2. 负数区域不会完全归零，不会出现神经元永久死亡
• 3. 随机正则特性，自带轻微噪声扰动，泛化能力更好
• 4. 完美适配编码器BERT模型，对话语义拟合效果远超ReLU

2.3 大模型应用短板

• 非线性上限偏低：单一路径非线性，只能拟合基础语义，无法支撑海量世界知识、复杂逻辑推理。
• 深层Decoder模型易梯度饱和：层数越多，梯度衰减越严重，长上下文记忆能力很差。
• 显存占用高、浮点运算量大：相同参数量推理速度慢于ReLU，批量服务吞吐量低。
• 与MoE稀疏架构不兼容：没有门控机制，无法配合专家路由做动态特征筛选。
• 低比特量化损失大：数值分布不均匀，量化后语义精度大幅下降。

2.4 适用场景

BERT、小参数量对话模型、百亿参数以内Transformer，千亿模型全面淘汰。

2.5 直观图示

​编辑

重点说明：

• ReLU平滑版本，负数不会直接清零
• 全程连续可导，训练比ReLU稳定
• 两端输入梯度快速趋近0，深层堆叠严重梯度衰减
• 长上下文容易遗忘，知识容量有限

3. SwiGLU激活函数

3.1 基础构成

SwiGLU = Swish门控 + GLU线性门控单元

不是单一激活函数，是双支路FFN结构 + 门控非线性组合架构。

标准计算流程：

• 1. 输入特征分成特征支路
• 2. 同时生成门控权重支路
• 3. 门控经过Swish(SiLU)平滑归一
• 4. 两路逐元素相乘融合输出

公式简化：

SwiGLU(x)=(xW1)⋅SiLU(xW2)

3.2 核心函数特性

• 1. 高阶复合非线性：双支路相乘，非线性表达能力远强于ReLU、GELU单函数变换。
• 2. 全程平滑、无死神经元、无梯度饱和：正负特征全部保留，语言正反语义、否定逻辑完美建模。
• 3. 自带动态门控加权：自动增强重要语义、弱化无关噪声，天生适配自然语言上下文。
• 4. 梯度极其稳定：上千层Transformer堆叠，依然平稳收敛，极大降低炼丹调参难度。
• 5. 数值分布均匀集中：极度友好INT4/INT8量化，推理精度几乎无损。

3.3 大模型专属优势

• FFN知识存储容量大幅提升，直接决定大模型智商上限
• 扩维适配性极强，8 倍、12倍隐藏扩维依然稳定训练
• 显存占用更低、推理速度更快，工程落地性价比极高
• 微调FFN即可快速提升专业领域能力，不易灾难性遗忘
• 原生适配MoE混合专家，全局路由 + 局部门控双层配合，万亿参数模型唯一优选

3.4 适用场景

所有Decoder大模型、千亿、万亿参数大模型、MoE稀疏大模型、长上下文模型、私有化微调、云端 + 边缘全场景部署。

3.5 直观图示

​编辑

重点说明：

• 正负区间都有饱满平滑响应
• 大范围梯度平稳均匀，无衰减、不归零、不饱和
• 高阶非线性更强，知识存储密度更高
• 完美适配深层大模型、长文本、MoE架构、量化部署

4. 基础差异对比

ReLU：简单快、稀疏强，但易死神经元、非线性差、不适合大语言 GELU：平滑稳定、适配BERT，但表达上限低、推理慢、不适合千亿深层模型 SwiGLU：门控高阶非线性、训练稳、显存省、推理快、量化好、适配MoE，全方位碾压前两者

​编辑

四、Gated GELU门控激活

1. 门控激活诞生背景

普通GELU只是单支路非线性变换，Transformer层数加深、文本长度加长后，FFN无法自主筛选关键语义。大模型需要一条支路控制信息强弱，一条支路传递原始特征，门控加权融合，这就是Gated门控FFN结构诞生原因。

ChatGLM2-6B是国内首个大规模采用Gated GELU门控 FFN的主流对话大模型，彻底改变单支路激活模式。

2. ChatGLM2完整前向计算流程

​编辑

• 1. 输入语义特征经过dense_h_to_4h一次性线性升维
• 2. 输出张量均匀拆分为Gate门控支路 + Value数值支路
• 3. Gate支路经过GELU非线性激活，生成自适应权重系数
• 4. 门控权重与原始Value逐元素相乘，筛选重要语义、压制无用信息
• 5. dense_4h_to_h矩阵降维，还原原始隐藏维度，送入下一层Transformer

整个过程不是简单激活，而是门控自适应语义加权，比普通GELU表达能力翻倍，深层梯度衰减大幅缓解。

3. ChatGLM2原生模型FFN完整复现

from transformers import AutoModel, AutoTokenizer
import torch
import torch.nn.functional as F
import warnings
warnings.filterwarnings("ignore")
# 你的本地模型路径
model_path = "/home/model/ZhipuAI/chatglm2-6b/"

# 加载模型
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModel.from_pretrained(model_path, trust_remote_code=True).half().cuda()
model.eval()

# ========== 1. 查看 ChatGLM2 第一层FFN结构 ==========
# ChatGLM2结构: model.transformer.encoder.layers[0].mlp
encoder_layers = model.transformer.encoder.layers
mlp_layer = encoder_layers[0].mlp
print("=== ChatGLM2-6B 原生FFN结构 ===")
print(mlp_layer)

# ========== 2. 手动复现 ChatGLM2 真实前向计算 ==========
# ChatGLM2-6B 使用 Gated GELU:
#   dense_h_to_4h 输出 4096→27392(=2×13696)，拆为 gate + value 两半
#   gate 走 GELU，再与 value 逐元素相乘，最后 dense_4h_to_h 降维回 4096
x = torch.randn(1, 128, 4096).half().cuda()

h1 = mlp_layer.dense_h_to_4h(x)            # (1, 128, 27392)
gate, value = h1.chunk(2, dim=-1)           # 各 (1, 128, 13696)
act_out = F.gelu(gate) * value              # Gated GELU: gelu(gate) ⊙ value
h2 = mlp_layer.dense_4h_to_h(act_out)       # (1, 128, 4096)

print("\n输入形状:", x.shape)
print("dense_h_to_4h 升维后:", h1.shape)
print("拆分 gate/value:", gate.shape)
print("Gated GELU 激活后:", act_out.shape)
print("dense_4h_to_h 降维后:", h2.shape)
print("ChatGLM2-6B 使用 Gated GELU（非纯 GELU）：gate 半支走 GELU + value 半支线性门控")

# ========== 3. 长文本输入，直观体现GELU梯度衰减缺陷 ==========
long_text = "人工智能大模型技术发展日新月异" * 50
input_ids = tokenizer(long_text, return_tensors="pt").input_ids.cuda()

with torch.no_grad():
    out = model(input_ids)
print(f"\n长文本长度：{input_ids.shape[1]}")
print("ChatGLM2-6B FFN = Gated GELU，相比纯 GELU 门控机制能缓解部分梯度衰减，但长文本深层仍存在语义退化")

运行输出：

=== ChatGLM2-6B 原生FFN结构 === MLP( (dense_h_to_4h): Linear(in_features=4096, out_features=27392, bias=False) (dense_4h_to_h): Linear(in_features=13696, out_features=4096, bias=False) ) 输入形状: torch.Size([1, 128, 4096]) dense_h_to_4h 升维后: torch.Size([1, 128, 27392]) 拆分 gate/value: torch.Size([1, 128, 13696]) Gated GELU 激活后: torch.Size([1, 128, 13696]) dense_4h_to_h 降维后: torch.Size([1, 128, 4096]) ChatGLM2-6B 使用 Gated GELU（非纯 GELU）：gate 半支走 GELU + value 半支线性门控 长文本长度：403 ChatGLM2-6B FFN = Gated GELU，相比纯 GELU 门控机制能缓解部分梯度衰减，但长文本深层仍存在语义退化

输出分析：

- 1. FFN结构打印解读

MLP( (dense_h_to_4h): Linear(in_features=4096, out_features=27392, bias=False) (dense_4h_to_h): Linear(in_features=13696, out_features=4096, bias=False) )

• 4096：模型隐层维度
• dense_h_to_4h 一次性升维到27392
• 代码内部强行对半切开 → 得到13696
• 一半当gate门控，一半当value特征

- 2. 张量形状流程逐行解释

输入形状: torch.Size([1, 128, 4096])

• 1：批次
• 128：上下文 token 长度
• 4096：语义特征维度

dense_h_to_4h 升维后: torch.Size([1, 128, 27392])

• 一次线性映射，把特征大幅扩维

拆分 gate/value: torch.Size([1, 128, 13696])

• 关键架构特点：一根权重切开两路，共用一套矩阵
• 前一半：gate 门控信号
• 后一半：value 原始语义特征

Gated GELU 激活后: torch.Size([1, 128, 13696])

• 计算公式：GatedGELU = value × GELU(gate)
• 门控走GELU非线性，特征保持线性，两者相乘完成门控

dense_4h_to_h 降维后: torch.Size([1, 128, 4096])

• 还原回原始维度，完成一层FFN计算

4. Gated GELU对大模型架构价值

• 双支路解耦：权重控制与特征传递完全分开，FFN语义建模能力翻倍
• 门控自适应：模型自动学习上下文重要程度，不用人工调节参数
• 训练更稳定：深层梯度比原生GELU平滑很多，更容易收敛
• 适配中英对话场景，GLM系列对话逻辑效果大幅提升

短板：GELU本身负数区域梯度偏小，超长几千token长文本，深层网络依旧语义丢失，因此智谱后续直接升级为SwiGLU。

五、SwiGLU SiLU门控升级

1. SwiGLU对比Gated GELU核心升级

SwiGLU=SiLU 激活门控 + GLU 线性门控结构，是目前Qwen、GLM3、LLaMA全系国际国内顶级大模型统一标配FFN激活方案。

• ChatGLM2：Gated GELU → Gate 用 GELU
• ChatGLM3/Qwen：SwiGLU → Gate 用 SiLU

SiLU 曲线比 GELU全程梯度更平滑、正负区间响应更均匀、无梯度凹陷区域，长文本几十层叠加后，梯度几乎不衰减，超长上下文语义完整保留。

2. ChatGLM3 SwiGLU 合并矩阵拆分结构

GLM3沿用GLM2单矩阵升维结构，依旧dense_h_to_4h统一输出，对半拆分gate与value，仅把激活函数从GELU替换为SiLU。

改动极小，但长文本、深层模型效果飞跃式提升。

3. ChatGLM3-6B SwiGLU完整原生示例

ChatGLM3-6B相比ChatGLM2-6B的FFN核心变化就是激活从Gated GELU升级为SwiGLU。

from transformers import AutoModel, AutoTokenizer
import torch
import torch.nn.functional as F
import warnings
warnings.filterwarnings("ignore")
# 你的本地模型路径
model_path = "/home/model/ZhipuAI/chatglm3-6b/"

# 加载模型
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModel.from_pretrained(model_path, trust_remote_code=True).half().cuda()
model.eval()

# ========== 1. 查看 ChatGLM3 第一层FFN结构 ==========
# ChatGLM3结构: model.transformer.encoder.layers[0].mlp
encoder_layers = model.transformer.encoder.layers
mlp_layer = encoder_layers[0].mlp
print("=== ChatGLM3-6B 原生FFN结构 ===")
print(mlp_layer)

# ========== 2. 手动复现 ChatGLM3 真实前向计算 ==========
# ChatGLM3-6B 升级为 SwiGLU（对比 ChatGLM2 的 Gated GELU）:
#   dense_h_to_4h 输出 4096→27392(=2×13696)，拆为 gate + value 两半
#   gate 走 SiLU，再与 value 逐元素相乘，最后 dense_4h_to_h 降维回 4096
x = torch.randn(1, 128, 4096).half().cuda()

h1 = mlp_layer.dense_h_to_4h(x)            # (1, 128, 27392)
gate, value = h1.chunk(2, dim=-1)           # 各 (1, 128, 13696)
act_out = F.silu(gate) * value              # SwiGLU: silu(gate) ⊙ value
h2 = mlp_layer.dense_4h_to_h(act_out)       # (1, 128, 4096)

print("\n输入形状:", x.shape)
print("dense_h_to_4h 升维后:", h1.shape)
print("拆分 gate/value:", gate.shape)
print("SwiGLU 激活后:", act_out.shape)
print("dense_4h_to_h 降维后:", h2.shape)
print("ChatGLM3-6B 升级为 SwiGLU：gate 半支走 SiLU + value 半支线性门控（ChatGLM2 为 Gated GELU）")

# ========== 3. 长文本输入，观察 SwiGLU 深层表现 ==========
long_text = "人工智能大模型技术发展日新月异" * 50
input_ids = tokenizer(long_text, return_tensors="pt").input_ids.cuda()

with torch.no_grad():
    out = model(input_ids)
print(f"\n长文本长度：{input_ids.shape[1]}")
print("ChatGLM3-6B FFN 升级为 SwiGLU：SiLU 平滑非单调 + 自门控，深层梯度衰减相比 GELU 显著改善")

运行输出：

=== ChatGLM3-6B 原生FFN结构 === MLP( (dense_h_to_4h): Linear(in_features=4096, out_features=27392, bias=False) (dense_4h_to_h): Linear(in_features=13696, out_features=4096, bias=False) ) 输入形状: torch.Size([1, 128, 4096]) dense_h_to_4h 升维后: torch.Size([1, 128, 27392]) 拆分 gate/value: torch.Size([1, 128, 13696]) SwiGLU 激活后: torch.Size([1, 128, 13696]) dense_4h_to_h 降维后: torch.Size([1, 128, 4096]) ChatGLM3-6B 升级为 SwiGLU：gate 半支走 SiLU + value 半支线性门控（ChatGLM2 为 Gated GELU） 长文本长度：403 ChatGLM3-6B FFN 升级为 SwiGLU：SiLU 平滑非单调 + 自门控，深层梯度衰减相比 GELU 显著改善

输出分析：

- 1. FFN结构解读

MLP( (dense_h_to_4h): Linear(in_features=4096, out_features=27392, bias=False) (dense_4h_to_h): Linear(in_features=13696, out_features=4096, bias=False) )

• 和ChatGLM2权重结构一模一样
• 同样：4096 → 27392 → 对半切开 → 13696
• 同样单一线性层拆分两路（智谱祖传省钱架构）

- 2. 张量流程逐行解释

输入形状: torch.Size([1, 128, 4096])

• 批次 1，序列 128token，隐层维度 4096

dense_h_to_4h 升维后: torch.Size([1, 128, 27392])

• 一次线性升维

拆分 gate/value: torch.Size([1, 128, 13696])

硬性对半分割

• 前一半：gate门控支路
• 后一半：value特征支路

SwiGLU 激活后: torch.Size([1, 128, 13696])

计算公式：

• SwiGLU=value×SiLU(gate)
• GLM2：value × GELU(gate)
• GLM3：value × SiLU(gate)

核心就换了一个激活函数，天差地别

dense_4h_to_h 降维后: torch.Size([1, 128, 4096])

• 还原维度，完成FFN

4. ChatGLM2 vs ChatGLM3本质区别

ChatGLM2-6B：

• Gated GELU
• gate 支路 → GELU 激活
• 缺点：两端梯度快速归零 → 深层衰减、长文本失忆

ChatGLM3-6B：

• 拆分式 SwiGLU
• gate 支路 → SiLU (Swish) 激活
• 优点：梯度全程平稳、不衰减、不饱和、长上下文极强

5. SwiGLU对大模型全体系价值

• 深层网络百层堆叠无梯度消失，支持超大参数量模型训练
• 超长几千Token上下文完整理解，长文档问答、长摘要业务刚需
• FP16半精度兼容性极好，大幅降低推理显存，服务落地成本更低
• 语义非线性拟合更强，对话逻辑、知识推理、多轮上下文效果更好
• 训练收敛更快，微调成本更低，行业通用标准化架构

六、激活函数全维度差异

1. 结构架构横向对比

• ReLU：单支路简单截断激活，无门控
• GELU：单支路平滑非线性激活，无门控
• Gated GELU：双支路拆分，GELU做门控加权
• SwiGLU：双支路拆分，SiLU做门控加权

2. 长文本&深层网络性能对比

• ReLU：极易梯度消失，不支持深层长文本
• 原生 GELU：深层梯度衰减明显，长文本后半语义混乱
• Gated GELU：中等水平，日常对话够用，超长文档不足
• SwiGLU：梯度全程平滑稳定，万token长文本依旧精准理解

3. 训练推理落地差异

• ReLU 训练快但不稳定，极易崩模型
• GELU 收敛一般，显存占用偏高
• Gated GELU 稳定性中等，微调适配一般
• SwiGLU 收敛快、显存省、适配所有量化、分布式训练、云端部署

4. 主流大模型选型规律

• ChatGLM2 → Gated GELU
• ChatGLM3 → SwiGLU
• Qwen 全系列 → SwiGLU
• LLaMA 全系列 → SwiGLU

七、总结

总的来说，学习大模型只看注意力机制，忽略FFN与激活函数，实际上Transformer注意力负责找关系，FFN激活函数负责存储知识、处理语义、支撑深度、支撑长文本。没有优秀激活函数，再强注意力架构也无法做成可用商用大模型。

从ReLU淘汰，到GELU过渡，GLM2 Gated GELU尝试，GLM3、Qwen全面普及SwiGLU，大模型激活函数迭代史，就是国产大模型长文本能力、深层训练能力、落地服务能力不断变强的发展史。

看懂激活函数，才算真正踏入大模型底层架构大门，后续学习模型剪枝、量化推理、结构修改、自定义FFN、模型蒸馏、分布式训练，都会一通百通、豁然开朗。