腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

综合排序丨最热优先丨最新优先

从“词元”到“符元”：Token 中文名背后的 AI 底层认知之争

随后，《人民日报》发文《专家解读token中文名为何定为“词元”》，对这一命名从专业角度进行了系统阐释。文中提到，“token”一词源于古英语tācen，意为“符号”或“标记”。在语言模型中，token是文本经过切分或字节级编码后得到的最小离散单元，既可以表现为词、子词、词缀或字符等不同形式。模型正是通过对token序列的建模，展现出一定的智能能力。在现代计算体系中，Token真正的结构本体是“离散符号单元”，而非单一模态的语言单位。相比之下，「符元」直接对齐了跨模态计算的符号本体，它定义的不是Token的“过去”，而是Token的“真相”。五、本体的回归：Token本质上是“符号”，而非“词”文章观点（通用解释）：Token是语言模型中用于处理文本的最小单位。

2026-04-09

3770

标签:

解决git status中文名乱码

git-config - Get and set repository or global options

2020-04-10

8880

标签:

Django 下载文件返回中文名

Django下载中文名文件： from django.utils.http import urlquote from django.http import HttpResponse content =

2022-05-14

6850

标签:

Java文件下载中文名不显示&乱码

实际开发中遇到了中文名不显示的问题，一开始以为是后台代码的原因，网上查了一些资料，原来是Header中只支持ASCII，传输的文件名必须是ASCII。为什么Header只支持ASCII呢？。

2019-08-08

1.7K0

标签:

java 实现文件下载中文名不显示

需要将指定字符串的编码转换成浏览器里面的ISO-8859-1编码 String name = new String(name.getBtes("utf-8"),"ISO-8859-1"); 示例： response.setContentType("application/octet-stream"); response.setHeader("content-disposition", "attachement;filename=" + new String(fileInfo.getFileName().ge

2020-06-19

7650

标签:

这个数据库有中文名字了

要给数据库起一个中文名字作为目前在墨天轮国产数据库排名第一的数据库要来一个中文名字。

2026-06-25

1160

标签:

解析 Token to Token Vision Transformer

最后看下T2T，通过Token to Token结构（下文会讲），它在浅层的时候也能建模出结构信息，同时也避免了极值的出现。 Token To Token结构 ? 而T2T为了捕捉局部信息，它将所有的token通过reshape操作，恢复成二维，然后利用一个unfold一个划窗操作，属于一个窗口的tokens，会连接成一个更长的token，然后送入到Transformer 这样会逐渐减少token的数量，但随之而来token的长度会增加很多（因为多个tokens连接在一个token），因此后续模型也降低了维度数目，以平衡计算量。整体架构 T2T架构如上图所示，先经过2次Tokens to Token操作，最后给token加入用于图像分类的cls token，并给上位置编码（position embedding)，送入到Backbone 结构对比代码解读 Token Transformer class Token_transformer(nn.Module): def __init__(self, dim, in_dim,

2021-03-11

8.1K0

标签:

这些改成中文名的前端框架，你还能认识几个？

受不了了~~，我也要取一堆名字。 AngularJS 诞生于2009年，由Misko Hevery 等人创建，后为Google所收购。是一款优秀的前端JS框架，已经被用于Google的多款产品当中。A

2018-01-29

1.6K0

标签:

3A级国产VR游戏《Reboant》（中文名《源震》）首曝

近日，国产3A级VR游戏《Reboant》（中文名《源震》）曝光了其首部预告片。该游戏采用了先进的虚幻4引擎进行开发，从本次公布的CG预告视频中就不难看出，这是一款可以被称作3A级别的VR大作。

2018-05-15

1.9K0

标签:

小米 token(token在哪里获取)

小米设备token获取&HomeAssistant安装部署小米智能设备token获取 miIO-discovery获取token与控制 app直接token获取 DB获取token 开源智能家居平台HomeAssistant 在使用这个局域网控制协议之前需要获取到设备token，接下来介绍小米设备获取token的一些方法。 :’,tok) 运行python3.5 miio_test.py，获取小米Wi-Fi插座token 执行控制脚本，输入插座的ip和token两个参数就可以看到现在插座的状态，在这两个参数的基础上添加接下来还有一种方法可以直接从app获取token。以小米绿米网关为例，首先下载米家app，将绿米网关配置入网后，点击网关设备。接下来步骤如下组图，最后的密码即为网关的token。目前绿米的这种设计模式是最方便用户的，而且设备的所有者还可以选择是否开放局域网控制以及刷新控制token的有效性，个人还是很希望小米的其他设备同样开放app侧获取设备token，因为毕竟获取需要搭建复杂的环境以及调试代码

全栈程序员站长

2022-07-29

10.8K0

标签: