Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >大模型 Token 究竟是啥:图解大模型Token

大模型 Token 究竟是啥:图解大模型Token

原创
作者头像
程序员NEO
修改于 2025-03-30 09:18:55
修改于 2025-03-30 09:18:55
1.6K2
举报

前几天,一个朋友问我:“大模型中的 Token 究竟是什么?”

这确实是一个很有代表性的问题。许多人听说过 Token 这个概念,但未必真正理解它的作用和意义。思考之后,我决定写篇文章,详细解释这个话题。

我说:像 DeepSeekChatGPT 这样的超大语言模型,都有一个“刀法精湛”的小弟——分词器(Tokenizer

大模型收到一段文字

会让分词器把它切成很多个小块

这切出来的每一个小块就叫做一个 Token

比如这段话(我喜欢唱、跳、Rap和篮球),在大模型里可能会被切成这个样子。

单个汉字,可能是一个 Token

两个汉字构成的词语,也可能是一个 Token

三个字构成的常见短语,也可能是一个 Token

一个标点符号,也可能是一个 Token

一个单词,或者是几个字母组成的一个词缀,也可能是一个 Token

大模型在输出文字的时候,也是一个 Token 一个 Token 的往外蹦,所以看起来可能有点像在打字一样。

朋友听完以后,好像更疑惑了:

于是,我决定换一个方式,给他通俗解释一下。

大模型的Token究竟是啥,以及为什么会是这样。

首先,请大家快速读一下这几个字:

是不是有点没有认出来,或者是需要愣两秒才可以认出来?

但是如果这些字出现在词语或者成语里,你瞬间就可以念出来。

那之所以会这样,是因为我们的大脑在日常生活中喜欢把这些有含义的词语或者短语,优先作为一个整体来对待。

不到万不得已,不会去一个字一个字的抠。

这就导致我们对这些词语还挺熟悉单看这些字(旯妁圳侈邯)的时候,反而会觉得有点陌生

而大脑🧠之所以要这么做,是因为这样可以节省脑力,咱们的大脑还是非常懂得偷懒的。

比如 “今天天气不错” 这句话,如果一个字一个字的去处理,一共需要有6个部分

但是如果划分成3个常见有意义的词

就只需要处理3个部分之间的关系,从而提高效率节省脑力

既然人脑可以这么做,那人工智能也可以这么做。

所以就有了分词器,专门帮大模型把大段的文字,拆解成大小合适的一个个 Token

不同的分词器,它的分词方法和结果不一样。

分得越合理,大模型就越轻松。这就好比餐厅里负责切菜的切配工,它的刀功越好,主厨做起菜来当然就越省事。

分词器究竟是怎么分的词呢?

其中一种方法大概是这样,分词器统计了大量文字以后,发现 “苹果” 这两个字,经常一起出现

就把它们打包成一个 Token,给它一个数字编号,比如 19416

然后丢到一个大的词汇表里。

这样下次再看到 “苹果” 这两个字的时候,就可以直接认出这个组合就可以了。

然后它可能又发现 “鸡” 这个字经常出现,并且可以搭配不同的其他字

于是它就把 “鸡” 这个字,打包成一个 Token,给它配一个数字编号,比如 76074

并且丢到词汇表里。

它又发现 “ing” 这三个字母经常一起出现

于是又把 “ing”三个字母打包成一个 Token,给它配一个数字编号,比如 288

并且收录到词汇表里。

它又发现 “逗号” 经常出现。

于是又把 “逗号” 也打包作为一个 Token,给它配一个数字编号,比如 14

收录到词汇表里。

经过大量统计收集,分词器就可以得到一个庞大的Token表

可能有5万个10万个,甚至更多Token,可以囊括我们日常见到的各种符号等等。

这样一来,大模型在输入输出的时候,都只需要面对一堆数字编号就可以了。

再由分词器按照Token表,转换成人类可以看懂文字符号

这样一分工,工作效率就非常高。

有这么一个网站 Tiktokenizerhttps://tiktokenizer.vercel.app

输入一段话,它就可以告诉你,这段话是由几个Token构成的,分别是什么,以及这几个Token的编号分别是多少

我来演示一下,这个网站有很多模型可以选择,像 GPT-4oDeepSeekLLaMA 等等。

我选的是 DeepSeek,我输入 “哈哈”,显示是一个 Token,编号是 11433

“哈哈哈”,也是一个 Token,编号是 40886

4“哈”,还是一个 Token,编号是 59327

但是5“哈”,就变成了两个Token,编号分别是 11433, 40886

说明大家平常用两个 “哈” 或者三个的更多。

再来,“一心一意” 是三个 Token。

“鸡蛋” 是一个 Token。

但是 “鸭蛋” 是两个 Token。

“关羽” 是一个 Token。

“张飞” 是两个 Token。

“孙悟空” 是一个 Token。

“沙悟净” 是三个 Token。

另外,正如前面提到的,不同模型的分词器可能会有不同的切分结果。比如,“苹果” 中的 “” 字,在 DeepSeek 中被拆分成两个 Token。

但是在 Qwen 模型里却是一个 Token。

所以回过头来看,Token 到底是什么?

它就是构建大模型世界的一块块积木。

大模型之所以能理解和生成文本,就是通过计算这些 Token 之间的关系,来预测下一个最可能出现的 Token。

这就是为什么几乎所有大模型公司都按照 Token 数量计费,因为 Token 数量直接对应背后的计算成本。

Token” 这个词不仅用于人工智能领域,在其他领域也经常出现。其实,它们只是恰好都叫这个名字而已。

就像同样都是 “车模”汽车模型车展模特,虽然用词相同,但含义却截然不同

FAQ

1. 苹为啥会是2个?

因为“苹” 字单独出现的概率太低,无法独立成为一个 Token。

2. 为什么张飞算两个 Token?

“张” 和 “飞” 一起出现的频率不够高,或者“ 张” 字和 “飞” 字的搭配不够稳定,经常与其他字组合,因此被拆分为两个 Token。


Token 在大模型方面最好的翻译是 '词元' 非常的信雅达。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
2 条评论
热度
最新
这些图太有意思了
这些图太有意思了
111举报
回复回复点赞举报
推荐阅读
编辑精选文章
换一批
DeepSeek为什么按Token计费 —— 通俗解释什么是大模型Token
最近 DeepSeek 可是火遍了大模型圈,我也一直在研究。结果前几天,我发小突然冷不丁地问我:“大模型里的Token 到底是啥东西啊?” 这问题可把我问住了,一时之间竟不知从何说起。我就跟她打比方,说像Deepseek、GPT 这些大语言模型,都有个“厉害助手”叫分词器。当大模型收到一段文字,就会让分词器把它切成好多小块,这些小块就叫token。比如说 “我喜欢唱、跳、Rap 和篮球”这句话,在大模型里可能就会被切成这样 ,单个汉字、两个汉字组成的词语、三个字的常见短语、标点符号、单词或者几个字母组成的词缀,都有可能是一个token。而且大模型输出文字的时候,也是一个token一个token往外蹦,所以有时候看起来就像在打字一样。
网晨科技
2025/03/18
4640
DeepSeek为什么按Token计费 —— 通俗解释什么是大模型Token
天天都在用的大模型,到底是个啥?
现在基本已经有全民 AI 浪潮的势头了,很多人的工作生活已经离不开大模型。但你了解大模型的本质吗?它的工作原理是什么?token 又是怎么来的?
程序员鱼皮
2025/06/06
1220
天天都在用的大模型,到底是个啥?
老婆问我:“大模型的 Token 究竟是个啥?”
最近 DeepSeek 很火,老婆又问我:大模型里的 Token 到底是个什么东西?
不惑
2025/03/12
3410
老婆问我:“大模型的 Token 究竟是个啥?”
之前的API是按调用次数收费,为什么大模型要以Token数收费?
在人工智能的世界里,大模型正以惊人的速度改变着我们的生活。在使用 LLM 大模型时,我们经常会遇到一个关键词,叫:Token。
烟雨平生
2025/02/25
8610
之前的API是按调用次数收费,为什么大模型要以Token数收费?
干货满满!大神Karpathy两小时AI大课文字版第一弹,全新工作流自动把视频转成文章
前段时间,AI大神Karpathy上线的AI大课,已经收获了全网15万次播放量。
新智元
2024/02/26
2750
干货满满!大神Karpathy两小时AI大课文字版第一弹,全新工作流自动把视频转成文章
LLM 大语言模型定义以及关键技术术语认知
LLM(Large Language Models)是基于 Transformer 架构(可以理解为不同寻常的大脑)的深度神经网络,通过海量文本数据训练获得语言理解和生成能力。其核心特征包括:
山河已无恙
2025/03/03
1831
LLM 大语言模型定义以及关键技术术语认知
人工智能算法通俗讲解系列(五):朴素贝叶斯
如果你在管理一个网上的社区,或者你是社区中的一个成员,那么,你每天都能看到其他用户产生的很多内容。也许,你有会一个新奇的想法,想知道整个社区的人,在发布内容的时候是怎样的心情。做到这一点也许不难,可以采用最笨的办法,就是把所有的内容找出来,一条一条浏览,看大家写的内容是怎么样的。这是一件很累人的事情,也许内容太多,你花一辈子也看不完。如果有一个程序能帮你做这件事,那会大大提高效率。
Stanley Sun
2022/01/07
4930
大模型中的Token有什么用?
可以说大模型已经融入了我们日常的工作生活,不管你是不是技术人员,随着现在大模型产品的演进,都可能得到他的帮助,这就从侧面再次印证了,降低技术的使用成本门槛,就可能带来突破性的冲击。
bisal
2025/03/17
2460
大模型中的Token有什么用?
数字比你想得更复杂——一文带你了解大模型数字处理能力的方方面面
目前大语言模型(Large Language Models, LLMs)的推理能力备受关注。从思维链(Chain of Thought,CoT)技术提出,到以 o1 为代表的长思考模型发布,大模型正在展现出接近人类甚至领域专家的水平,其中数学推理是一个典型任务。
机器之心
2025/02/14
1280
数字比你想得更复杂——一文带你了解大模型数字处理能力的方方面面
【迅搜03】全文检索、文档、倒排索引与分词
今天还是概念性的内容,但是这些概念却是整个搜索引擎中最重要的概念。可以说,所有的搜索引擎就是实现了类似的概念才能称之为搜索引擎。而且今天的内容其实都是相关联的,所以不要以为标题上有四个名词就感觉好像内容很多一样,其实它们都是联系紧密的,一环套一环的。
硬核项目经理
2023/11/24
6470
【迅搜03】全文检索、文档、倒排索引与分词
藏不住了!OpenAI的推理模型有时用中文「思考」
OpenAI o1 在推理时有个特点,就像有人考试会把关键解题步骤写在演草纸上,它会把推理时的内心 os 分点列出来。
机器之心
2025/02/03
910
藏不住了!OpenAI的推理模型有时用中文「思考」
机器学习|从0开发大模型之Tokenizer训练
继续写《从0开发大模型》系列文章,本文主要介绍从头快速训练一个Tokenizer。
用户1904552
2025/02/27
2540
机器学习|从0开发大模型之Tokenizer训练
解读大模型(LLM)的token
正像陆奇博士所说的那样,大型语言模型为从文本生成到问题回答的各种任务提供了令人印象深刻的能力,不仅彻底改变了自然语言处理(NLP)领域,而且作为基础模型会改变整个软件生态。
半吊子全栈工匠
2023/10/08
16.9K2
解读大模型(LLM)的token
nlp模型-bert从入门到精通(一)
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
学到老
2019/10/25
1.4K0
从困境到突破:政府项目机器人数据查询的探索之旅
最近,老板让我做个机器人儿,让这个机器人可以根据用户问的问题回答相关业务领域的数据。业务数据现在都在不同的库不同的表里。
一杯茶Ja
2024/09/14
1680
文本分类有哪些论文中很少提及却对性能有重要影响的tricks?
当时正好在刷一个比较有趣的task,结果发现奇奇怪怪的tricks可以带来不少的性能收益。再加上后来为了验证一个小idea跑了一堆公开的文本分类数据集,虽然idea没有多亮,倒是积累和摸索了不少刷性能的tricks╮( ̄▽ ̄””)╭然后呢,小夕后续又用这些tricks刷了不少相关的比赛(哪怕是文本匹配这种特殊的文本分类问题),发现baseline+一堆tricks+简单集成就可以随随便便刷到一个文本分类的水比赛的top10甚至top3,甚感调参和tricks的重要性。
zenRRan
2019/11/19
1K0
Transformers 4.37 中文文档(十八)
任何多模态模型都需要一个对象来编码或解码将多个模态(文本、视觉和音频)组合在一起的数据。这由称为处理器的对象处理,这些对象将多个处理对象(如文本模态的分词器、视觉的图像处理器和音频的特征提取器)组合在一起。
ApacheCN_飞龙
2024/06/26
9740
如何实现一个分词器
在开发代码补全插件的过程中,根据项目需要,我实现了一个分词器,本文将介绍分词器的具体实现细节。
winty
2024/07/31
2920
如何实现一个分词器
Lucene就是这么简单
什么是Lucene?? Lucene是apache软件基金会发布的一个开放源代码的全文检索引擎工具包,由资深全文检索专家Doug Cutting所撰写,它是一个全文检索引擎的架构,提供了完整的创建索引和查询索引,以及部分文本分析的引擎,Lucene的目的是为软件开发人员提供一个简单易用的工具包,以方便在目标系统中实现全文检索的功能,或者是以此为基础建立起完整的全文检索引擎,Lucene在全文检索领域是一个经典的祖先,现在很多检索引擎都是在其基础上创建的,思想是相通的。 Lucene是根据关健字来搜索的文本搜
Java3y
2018/04/02
1K0
Lucene就是这么简单
【Rust 研学】 | LLM 入门之旅 2 : BPE 算法
我们的作品是基于大模型实现的一个代码转译可视化工具,完全由 Rust 实现,也可能是这次赛事唯一一个用 Rust 实现的作品吧。
张汉东
2024/04/22
4510
【Rust 研学】 |   LLM 入门之旅 2 :  BPE 算法
推荐阅读
相关推荐
DeepSeek为什么按Token计费 —— 通俗解释什么是大模型Token
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档