
【CodeGen技术】系列最终目标是讨论SDD，包括LLM层、助手层、方法层、实践层共 4 篇。本文是系列第 1 篇。

我们知道，**总参数量** = 词嵌入层参数 + 解码器层参数
所有参数 都放在 safetensors **模型文件** 中
**预训练** 就是为了 生成合理的 参数值
**后训练** 也是为了 生成合理的 参数值。蒸馏、微调、强化学习都是后训练
**小模型** 就是参数量小的模型。LLM通过"蒸馏+量化+剪枝"可获得小模型


--------------------------------

## 一、LLM 主流架构（AI 编程的技术底座）
1.1  **主流格局**：当前LLM市场仍由Dense（GPT - 4o、Gemini 2.5 Pro）与MoE（GPT - 4o - MoE、Gemini 1.5 Pro - MoE）架构主导，二者在复杂推理、长文本生成、生态成熟度上优势显著，扩散架构尚未形成规模商用。

1.2  **OpenAI的态度**：OpenAI仅将扩散模型用于图像生成（DALL·E 3、GPT - 4o原生图像生成），其核心LLM（GPT - 4o、GPT - 5系列）均基于Dense/MoE架构，未推出扩散语言模型，推测是因扩散在长文本推理、因果一致性上的技术瓶颈尚未完全突破。

下图为AI生成
<div align="center"><img src="https://developer.qcloudimg.com/http-save/yehe-11563618/3ff5b38197c20cb6561f01f8465a849f.jpg" width="50%"></div>

--------------------------------
## 二、LLM 后训练技术（AI 编程能力优化）
LLM后训练是指在大规模预训练完成后，通过微调、强化学习等技术对模型进行进一步优化。让模型适配特定场景、符合人类偏好、降低部署成本。

#### 2.1  监督微调（SFT）
监督微调是最基础的后训练方法，通过在高质量标注数据上进行有监督学习，让模型学会遵循指令和生成符合期望的输出。SFT数据集通常包含"指令-响应"对，模型通过最小化预测输出与目标答案之间的交叉熵损失来优化参数。

**关键技术演进：**
- **LoRA系列**：通过低秩分解引入可训练参数，显著降低计算开销
- **QLoRA**：结合4-bit量化与LoRA，可节省高达70%显存
- **提示微调**：通过优化提示向量而非直接修改模型参数来调整模型行为

#### 2.2 强化学习（RL）

强化学习技术通过奖励信号引导模型学习人类偏好，主要包括：
- RLHF（基于人类反馈的强化学习）：通过训练奖励模型预测人类对代码的偏好，再利用PPO等算法优化模型策略，但需大量人类标注数据，成本高且难以适配编程任务的结构化验证需求；
- DPO（直接偏好优化）：直接利用偏好数据优化模型，无需显式训练奖励模型，训练效率更高，更易扩展，在编程场景中逐步替代传统RLHF；
- RLAIF（基于AI反馈的强化学习）：以AI生成的标签替代人类反馈，大幅提升对齐过程的可扩展性，降低工业界落地成本。

#### 2.3 推理增强技术

**思维链（CoT）训练**
通过显式的推理步骤指导模型学习多步推理过程，在数学、科学推理等复杂任务上表现突出。

**测试时扩展方法**
包括思维树（ToT）、思维图谱（GoT）、自我一致性解码等技术，在推理过程中动态分配计算资源，增强模型的多步推理能力。

#### 2.4 效率优化技术

**参数高效微调（PEFT）**
- LoRA、适配器等技术仅更新少量参数
- 显著降低计算和存储需求
- 保持接近全参数微调的性能

**知识蒸馏**
- 将大模型知识转移到小模型，实现模型压缩和高效部署。

下图来自网络
<div align="center"><img src="https://developer.qcloudimg.com/http-save/yehe-11563618/73e832b42dcd97c96dd73e5442b2ab70.jpg" width="70%"></div>


--------------------------------

## 三、RLVR：编程AI 后训练的突破方向

RLVR是目前提升LLM编程能力最实用且可扩展的技术路径，但需要结合蒸馏、多轮交互等补充技术来突破能力边界限制，实现真正的推理能力进化。【概述】

在2025年，RLVR已经从一个可选的优化步骤，演变为顶尖模型（如OpenAI o系列、DeepSeek-R1、Claude 3.7/4等）训练流程中的核心阶段，甚至被称为继预训练、SFT、RLHF之后的“第四步”。行业趋势显示，原本用于预训练的算力正在向RLVR阶段倾斜。【火爆】

显著提升单次尝试成功率（Pass@1）。【好处】

RLVR 以 “客观可验证奖励”（如单元测试、编译器反馈、代码通过率）驱动训练，完美匹配编程任务的强结构化与可验证特性。【原理】

在编程领域，RLVR通过"代码生成-编译测试-奖励反馈"的闭环训练，让模型学会编写可执行且正确的代码。腾讯混元DRIVE技术报告显示，通过精心设计的数据筛选和课程学习策略，RLVR训练的模型在LeetCode和Codeforces等编程竞赛基准测试中达到了与参数量5-10倍的大型模型相当的性能水平。【原理】

**多轮环境交互**和**更强的探索机制**（如蒙特卡洛树搜索）可能是突破当前局限的关键方向。【方向】

下图为AI生成
<div align="center"><img src="https://developer.qcloudimg.com/http-save/yehe-11563618/332cb31db3761fefb039d2c8c8e11b4a.jpg" width="50%"></div>


--------------------------------

## RLVR的局限性 ≈ SDD的困境

在单元测试覆盖充分、代码正确性为核心目标的场景中，RLVR 的潜力几乎无可替代；而在开放性、主观质量导向的场景中，需依赖其他方法互补。

#### 4.1 场景短板
1.  **复杂场景 难验证**：复杂场景（如分布式系统、性能优化、无明确测试用例的需求）验证成本高，甚至无法客观验证。
2.  **决策路径 难验证**：代码生成的轨迹空间巨大，可能性多，纯随机探索易陷入局部最优。
3.  **主观决策 难验证**：擅长“能跑通、符合测试”的任务，难以优化代码可读性、可维护性、架构合理性等主观/开放维度。

#### 4.2 未来潜力
1. 中间步骤验证（如代码生成每步语法 / 逻辑检查），提升推理链稳定性。
2. 多智能体协作（如一个生成、一个验证、一个优化），增强复杂项目适配能力。
3. 动态验证器（如自适应测试用例生成），适配无固定测试场景。
4. 分层强化学习（HRL）：将复杂的编程任务分解。高层 Agent 负责规划架构（“先写数据库连接，再写 API 接口”），底层 Agent 负责具体实现。这种分层探索大大降低了搜索空间的复杂度。


------------------
## 附录（LLM底座四代技术）


|对比维度|Google（Gemini/Titans）|OpenAI（GPT/o1）|优势方|
| ---- | ---- | ---- | ---- |
|架构布局|1代Dense→2代MoE→3代混合MoE+Linear（Titans）→4代SSM+Test‑Time（MIRAS），全栈自研TPU+统一多模态框架|1代Dense→2代MoE→3代混合Dense+MoE→4代Test‑Time+Linear模块融合，依赖英伟达GPU+Azure算力|Google（全栈闭环）|
|Linear Attention（4代核心）|Titans架构融合SSM，支持200万token，Mamba‑like模块优化长序列，TPU适配度高，2025NeurIPS发布实验版|未推独立Linear模型，GPT‑5融入线性注意力模块用于长序列，依赖FlashAttention‑2优化，无公开独立架构|Google（底层创新+硬件协同）|
|Test‑Time Compute（4代核心）|MIRAS框架探索测试时记忆扩展，无面向终端用户的商用产品，聚焦研究阶段|o1/o3系列已商用，思维链动态计算落地，复杂推理准确率提升20%-30%，付费场景验证成功|OpenAI（商业化领先）|
|硬件与成本|TPUv6e/Trillium全栈自研，长序列推理成本比英伟达低30%-50%，安卓生态深度整合|依赖英伟达H100/A100，通过Azure超算规模化，推理成本略高，但工程优化成熟|Google（硬件成本优势）|
|产品化节奏|Gemini 3.0同步登陆搜索/YouTube/安卓，月活4.5-6.5亿，但4代架构商用节奏慢|o1/o3快速迭代，GPT‑5与o1互补覆盖通用+推理场景，用户付费转化率高，商业化闭环成熟|OpenAI（产品落地快）|
|生态适配|TPU生态封闭，开源工具链适配度70%；多模态（Imagen 4、Veo 3）原生整合，用户心智壁垒高|Hugging Face生态适配度100%，第三方插件丰富；多模态依赖DALL·E 3/Sora，子系统协同效率略低|Google（多模态生态）|


**2026年 Google vs OpenAI 四代架构技术落地时间表**
此表聚焦**Linear Attention**与**Test‑Time Compute**两大核心方向

|时间节点|Google（Gemini/Titans 生态）|OpenAI（GPT/o1 生态）|核心竞争焦点|
| ---- | ---- | ---- | ---- |
|**2026 Q1**|1. Titans 架构公测版发布，支持200万token超长上下文<br>2. MIRAS 测试时记忆扩展技术集成至 Gemini 2.5 Pro 实验版<br>3. TPUv6e 适配 Linear Attention 专用算子，长序列推理成本再降15%|1. GPT‑5 基础版上线，融入 Linear 注意力模块，支持128K token 上下文<br>2. o1 推出“轻量推理模式”，延迟降低40%，适配实时对话场景<br>3. 开放 o1 思维链 API 内测，面向企业级用户|长序列处理能力；Linear 模块硬件适配效率|
|**2026 Q2**|1. Gemini 3.0 正式版发布，融合 SSM+Test‑Time Compute 混合架构<br>2. Imagen 4 集成 Linear 注意力，支持百万像素图像生成<br>3. 开源 Titans Linear 模块工具链，适配 Hugging Face|1. o3 系列发布，复杂推理准确率较 o1 提升25%，成本降低30%<br>2. GPT‑5 长文本版上线，支持512K token，推理成本与 GPT‑4o 持平<br>3. 推出 Linear+自回归混合推理引擎，端侧部署支持7B 模型|混合架构性能；企业级 API 商业化渗透率|
|**2026 Q3**|1. Titans 商用版落地 Google Search，支持超长网页内容理解<br>2. 发布 Linear‑MoE 混合模型，兼顾效率与复杂推理<br>3. TPUv7 流片，专为 Linear/Test‑Time 混合架构设计|1. o1 开放第三方插件生态，支持代码调试、数学建模等垂直场景<br>2. GPT‑5.1 上线，Linear 模块占比提升至50%，长序列延迟再降20%<br>3. 与英伟达合作优化 H200 推理内核，Test‑Time 计算 GPU 利用率提升至75%|垂直场景落地；硬件协同优化效果|
|**2026 Q4**|1. Gemini 3.5 发布，Test‑Time Compute 全面商用，覆盖搜索、办公、云服务<br>2. Linear 架构手机端部署，安卓旗舰机型预装 Gemini Nano 2.0<br>3. 发布 Titan‑Diffusion 混合模型，融合扩散生成与 Linear 注意力|1. o1 推出“按需付费”模式，按推理步数计费，降低中小用户使用门槛<br>2. GPT‑5.2 上线，Linear+Test‑Time 深度融合，复杂推理成本降至 $0.1/千token<br>3. Sora 集成 Test‑Time Compute，支持视频内容逻辑优化|端侧部署能力；成本控制与用户付费模式|

--------



【CodeGen技术】系列最终目标是讨论SDD，包括LLM层、助手层、方法层、实践层共 4 篇。本文是系列第 1 篇。

CodeGen生态01 | LLM层：技术现状&发展方向

工业界对 LLM 编程能力的优化探索，正从传统的预训练与监督微调，向更复杂的后训练体系延伸。

人工智能

编程语言

算法

探索AI编程核心技术：LLM主流架构与后训练优化方法，包括Dense/MoE架构对比、监督微调(SFT)、强化学习(RLHF/DPO/RLAIF)及RLVR技术突破。分析2025年顶尖模型训练趋势，揭示代码生成-编译测试闭环训练优势，探讨多智能体协作、动态验证器等前沿方向，助力开发者掌握AI编程优化路径。

强化学习

测试服务

单元测试

数据库

服务器

公有云

智能体

编译器

DevOps

Agent

4核4G3M云服务器 新用户低至38元/年！

2026新春采购季

wetest

tencentdb-catalog

coding

ai-class

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

CodeGen生态01 | LLM层：技术现状&发展方向-腾讯云开发者社区-腾讯云

CodeGen生态01 | LLM层：技术现状&发展方向

CodeGen生态01 | LLM层：技术现状&发展方向

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐