在大模型的中文应用落地过程中，我们常常会遇到这样的问题：面对古籍里的生僻字（如“𪚥”、“龘”）、特定领域的专业术语，如人工智能领域的 “LoRA 微调”、生物医...

相信我们在接触大模型已经从很多地方收集各类零零散散的信息，数据的高价值已是行业共识，但并非只有海量数据才有价值，对于类似我们这样的中小企业、个人开发者或垂直场景...

大模型的性能上限，一半取决于模型架构与训练策略，另一半则由训练数据的质量决定。尤其对于中文大模型而言，中文语料存在来源繁杂、噪声冗余、格式不统一、语义歧义等问题...

从我们日常接触的电脑存储开始理解，我们可以先回忆一下手机、电脑里的数据存储规则：大模型的核心是海量参数，可以理解为模型学到的知识，像一本超级厚的字典，这些参数在...

🚀 本文收录于Github：AI-From-Zero 项目 —— 一个从零开始系统学习 AI 的知识库。如果觉得有帮助，欢迎 ⭐ Star 支持！

最近我们强化学习了很多大模型相关知识，应该也注意到了“MoE”这个词，比如什么模型用了MoE架构，MoE让大模型性能得到大幅提升等等，我们初看一扫而过，再看一脸...

大模型稀疏化的核心是通过参数级静态精简与激活级动态调度，让模型中大部分参数为零或不参与计算，仅保留核心有效连接和神经元，实现“体积瘦身、计算减负、精度稳中有升”...

大模型作为人工智能领域的明星产物，其诞生与迭代始终以人类语言及行为数据的深度学习为核心。通过吸纳书面文字、影音字幕、日常对话等海量多元数据，借助数百亿甚至上千亿...

通过多篇博文我们也反复介绍说明了大模型知识滞后、生成幻觉成为制约智能问答、企业知识库等场景落地的核心痛点，检索增强生成（RAG）技术通过“外部知识检索 + LL...

大模型在生成信息时可能出现幻觉问题，生成看似合理但实际错误或不存在的内容，同时，模型存在知识边界限制，其知识受限于训练数据的时间截点和覆盖范围，无法获取实时信息...

在大模型应用开发中，如何高效地利用私有数据、编排复杂任务以及管理多轮对话状态是三个核心挑战。LlamaIndex、LangChain和LangGraph分别针对...

今天我们继续展开CLIP 模型的精细度解析，遵循 “理论铺垫→基础实践→进阶深化”的过程，初次接触的建议先看看基础篇《CLIP 模型全维度解析：理解理论基础强化...

在前面的文章我们对langchain和RAG都做过深入的探讨，检索增强生成（RAG）是解决模型核心痛点的关键技术，它能让大模型基于本地私有数据生成精准回答，彻底...

微调（Fine-tuning）是指在一个已经预训练好的大语言模型基础上，用特定领域或任务的数据继续训练，让模型更好地适应具体需求。

我们经常讨论到的模型大都基于大文本的模型，鲜有谈及视觉这一块，今天我们结合文本模型来梳理探讨一下视觉的模型，计算机视觉（CV）和自然语言处理（NLP）是两个相对...

信息抽取的本质是将非结构化数据（文本、文档等）转化为结构化格式（表格、JSON、数据库等）的过程。传统方法依赖规则引擎或有监督学习，需人工设计特征和标注数据，适...

随着大模型技术在本地化部署场景的普及，处理大规模中文文本任务（如超长文本总结、海量新闻分类）时，单进程执行面临算力不足、内存溢出、效率低下等核心问题。MapRe...

在 Transformer 出现之前，处理文本的主流方法是 RNN 及其改进版 LSTM。它们有几个比较头疼的问题。

MapReduce是一种编程模型，用于大规模数据集的并行运算。Map（映射）和Reduce（归约）是函数式编程中的核心概念。在大模型训练中，MapReduce被...

词元化（Tokenization）是大模型预处理的核心步骤，将连续文本切分为模型可理解的最小语义单元（Token），这些词元可以是单词、子词或字符。中文没有像英...