从token 的形成规则来说,官方的【词元】 其实是比较合适的,因为token 从本质上来说还是分词,一种可以让AI 大模型更容易理解的分词规则。当然,其他的token 中文译名也是可以理解的,比如最开始出现的token,用在接口调用时,中文译名就是令牌。用语AI 大模型的token,【词符】也是能理解的,通过算法分词后形成的词符。
个人还有一个推荐的中文译名【次元】,一方面是和官方的【词元】同音,有分词方面的含义在里面。另一方面这个token主要是给AI 大模型来用,从层级上来说,不完全属于现实维度,可以算是另一个维度,因此叫【次元】。
从token 的形成规则来说,官方的【词元】 其实是比较合适的,因为token 从本质上来说还是分词,一种可以让AI 大模型更容易理解的分词规则。当然,其他的token 中文译名也是可以理解的,比如最开始出现的token,用在接口调用时,中文译名就是令牌。用语AI 大模型的token,【词符】也是能理解的,通过算法分词后形成的词符。
个人还有一个推荐的中文译名【次元】,一方面是和官方的【词元】同音,有分词方面的含义在里面。另一方面这个token主要是给AI 大模型来用,从层级上来说,不完全属于现实维度,可以算是另一个维度,因此叫【次元】。