词向量、词嵌入（word vector，word embedding）也称分布式表示（distributed representation），想必任何一个做NLP的研究者都不陌生。如今词向量已经被广泛应用于各自NLP任务中，研究者们也提出了不少产生词向量的模型并开发成实用的工具供大家使用。在使用这些工具产生词向量时，不同的训练数据，参数，模型等都会对产生的词向量有所影响，那么如何产生好的词向量对于工程来说很重要。中科院自动化所的来斯惟博士对此进行了详细的研究。本篇也是我阅读来博士发表的论文《How to
10 月19 日，腾讯 AI Lab 宣布开源大规模、高质量的中文词向量数据。该数据包含 800 多万中文词汇。
该数据包含800多万中文词汇，相比现有的公开数据集，在覆盖率、新鲜度及准确性上大幅提高。
关键词：内在/外在评价，超参数在类推（analogy）评估中的作用，人类判别和词向量距离间的相关性，根据上下文消歧，窗口（Window）分类。
今日，腾讯 AI Lab 宣布开源大规模、高质量的中文词向量数据。该数据包含 800 多万中文词汇，相比现有的公开数据，在覆盖率、新鲜度及准确性上大幅提高，为对话回复质量预测和医疗实体识别等自然语言处理方向的业务应用带来显著的效能提升。针对业界现有的中文词向量公开数据的稀缺和不足，腾讯 AI Lab 此次开源，可为中文环境下基于深度学习的自然语言处理（NLP）模型训练提供高质量的底层支持，推动学术研究和工业应用环境下中文 NLP 任务效果的提升。
今日，腾讯AI Lab 宣布开源大规模、高质量的中文词向量数据。该数据包含800多万中文词汇，相比现有的公开数据，在覆盖率、新鲜度及准确性上大幅提高，为对话回复质量预测和医疗实体识别等自然语言处理方向的业务应用带来显著的效能提升。针对业界现有的中文词向量公开数据的稀缺和不足，腾讯 AI Lab此次开源，可为中文环境下基于深度学习的自然语言处理（NLP）模型训练提供高质量的底层支持，推动学术研究和工业应用环境下中文NLP任务效果的提升。 数据下载地址：https://ai.tencent.com/ail
· 训练算法：分层softmax（对罕见字有利）vs 负采样（对常见词和低纬向量有利）
之前我们介绍了两种表示词向量的方法：「基于数量」的矩阵分解方法（HAL & LSA）和「基于窗口」的概率方法（word2vec）。第二种方法明显优于第一种，但其只考虑了一个较小窗口内的词语信息，没有利用好全局的词语共现数据。
经过60余年的发展，人们已经研发了各种各样自然语言处理技术，这些纷繁复杂的技术本质上都是在试图回答一个问题：语义在计算机内部是如何表示的？ 根据表示方法的不同，自然语言处理技术共经历了四次范式变迁，分别是小规模专家知识、大规模语料库统计模型、大规模语料库深度学习和大规模预训练语言模型。 特别是在2010 年之后，随着基于深度神经网络的表示学习方法的兴起，该方法直接端到端地学习各种自然语言处理任务，不再依赖人工设计的特征。深度学习可以有效地避免统计学习方法中的人工特征提取操作，自动地发现对于目标任务有效的表示
选自 einstein.ai 机器之心编译 参与：Nurhachu Null、蒋思源 自然语言处理（NLP）这个领域目前并没有找到合适的初始化方法，它不能像计算机视觉那样可以使用预训练模型获得图像的基本信息，我们在自然语言处理领域更常用的还是随机初始化词向量。本文希望通过 MT-LSTM 先学习一个词向量，该词向量可以表征词汇的基本信息，然后再利用该词向量辅助其它自然语言处理任务以提升性能。本文先描述了如何训练一个带注意力机制的神经机器翻译，其次描述了如何抽取该模型的通用词向量与将其应用于其它任务的性能。
情感分析是一种常见的自然语言处理（NLP）方法的应用，特别是在以提取文本的情感内容为目标的分类方法中。通过这种方式，情感分析可以被视为利用一些情感得分指标来量化定性数据的方法。尽管情绪在很大程度上是主观的，但是情感量化分析已经有很多有用的实践，比如企业分析消费者对产品的反馈信息，或者检测在线评论中的差评信息。 最简单的情感分析方法是利用词语的正负属性来判定。句子中的每个单词都有一个得分，乐观的单词得分为 +1，悲观的单词则为 -1。然后我们对句子中所有单词得分进行加总求和得到一个最终的情
在当今的人工智能（AI）领域，Embedding 是一个不可或缺的概念。如果你没有深入理解过 Embedding，那么就无法真正掌握 AI 的精髓。接下来，我们将深入探讨 Embedding 的基本概念。
周末闲来无事，给AINLP公众号聊天机器人加了一个技能点：中文相似词查询功能，基于腾讯 AI Lab 之前公布的一个大规模的中文词向量，例如在公众号对话窗口输入"相似词 自然语言处理"，会得到：自然语言理解、计算机视觉、自然语言处理技术、深度学习、机器学习、图像识别、语义理解、语音识别、自然语言识别、语义分析；输入"相似词 文本挖掘"，会得到：数据挖掘、文本分析、文本数据、自然语言分析、语义分析、文本分类、信息抽取、数据挖掘算法、语义搜索、文本挖掘技术。如下图所示：
原文链接：https://zhuanlan.zhihu.com/p/58425003
👆点击“博文视点Broadview”，获取更多书讯 自然语言处理被誉为“人工智能皇冠上的明珠”! 深度学习等技术的引入为自然语言处理技术带来了一场革命，近年来也出现了自然语言处理的新范式。 为什么自然语言是“人工智能皇冠上的明珠”呢？ 自然语言处理，英文名称是Natural Language Processing，简称NLP，主要研究用计算机来理解和生成自然语言的各种理论和方法。 其中，自然语言指的是人类语言，特指文本符号，而非语音信号。对语音信号的识别与合成属于语音处理领域的研究范畴。 自然语言处理已
高质量的地图数据为Uber旅行体验的许多方面提供了动力。搜索、路由和预计到达时间（ETA）预测等服务都要依靠准确的地图数据为乘客、司机、食客和投递伙伴提供安全、便捷和高效的体验。然而，地图数据会随着时间的推移而过时，从而降低其质量。
谈到词向量则必须要从语言模型讲起，传统的统计语言模型是对于给定长度为m的句子，计算其概率分布P(w1, w2, ..., wm)，以表示该句子存在的可能性。该概率可由下列公式计算得到：
从 BERT 开始，预训练模型(PLMs)+微调(finetune)已经成为了NLP领域的常规范式。通过引入额外的参数(新的网络层)和特定任务的目标函数，PLMs在该任务的数据集下经过finetune后，总能取得评价指标上的提升，甚至达到SOTA。
最近谷歌研究人员通过新的BERT模型在11项NLP任务中夺得STOA结果，这在自然语言处理学界以及工业界都引起了不小的热议。作者通过在33亿文本的语料上训练语言模型，再分别在不同的下游任务上微调，这样的模型在不同的任务均得到了目前为止最好的结果，并且有一些结果相比此前的最佳成绩得到了幅度不小的提升。借此契机，我们回顾一下词表示方向的这两年的一些新进展，希望能发现一些规律和新的idea。基本的介绍路线如下：
将词语表示为向量的技术并不是最近几年的新思想。例如向量空间模型将词表示为词典维度的高维向量。这种表示带来的问题主要包括两个方面。一方面词与词之间相互独立，无法表达词语之间的关系。另一方面向量过于稀疏，计算和存储的效率都不高。
语言模型通俗的将就是判断一句话是不是正常人说出来的。统计语言模型是所有 NLP的基础，被广泛应用与语音识别、机器翻译、分词、词性标注和信息检索等任务。传统的统计语言模型是表示语言基本单位（一般为句子）的概率分布函数，这个概率分布也是该语言的生成模型。通俗的讲，如果一句话没有在语料库中出现，可以模拟句子的生成的方式，生成句子在语料库中的概率。一般语言模型可以使用各个词语条件概率的形式表示：
导语： BERT模型自诞生以来统治了各项NLP任务的榜单，谷歌也针对中文给出了基于字的模型。然而我们知道词是语言最重要的组成部分，因此，一个自然的想法就是做基于词的BERT模型。但是受限于显存，谷歌原生的BERT模型可以使用的词典比较小，只能覆盖一小部分的汉语的词。在本文中，我们提出了对BERT的一些改进，将中文BERT词模型的词典大小进行了大幅扩充，并在多个下游任务上测试了大词典BERT的表现。此外，我们尝试了一种针对上下文相关词向量的最近邻检索方法，基于BERT的词向量做以词搜词任务，相对于上下文
导语 PaddlePaddle提供了丰富的运算单元，帮助大家以模块化的方式构建起千变万化的深度学习模型来解决不同的应用问题。这里，我们针对常见的机器学习任务，提供了不同的神经网络模型供大家学习和使用。本周推文目录如下： 周三：【词向量】Hsigmoid加速词向量训练 周四：【词向量】 噪声对比估计加速词向量训练 周五：【RNN】使用RNN语言模型生成文本 词向量用一个实向量表示词语，向量的每个维都表示文本的某种潜在语法或语义特征，是深度学习应用于自然语言处理领域最成功的概念和成果之一。广义的，词向量也可以应
搜索中一个重要的任务是根据query和title预测query下doc点击率，本次大赛参赛队伍需要根据脱敏后的数据预测指定doc的点击率，结果按照指定的评价指标使用在线评测数据进行评测和排名，得分最优者获胜。
这一章节呢，主要是为大家介绍一下AI大模型相关的一些背景和基础知识。大家可以看到这一章节的标题是 "5分钟速通大语言模型（LLM）的发展与基础知识" ，相较于唬人的标题，大家肯定更关心的是接下来主要讲哪些内容呢？
作者 | 天雨粟 整理 | AI100（rgznai100） 原文 - https://zhuanlan.zhihu.com/p/27296712 前言 上一篇的专栏介绍了Word2Vec中的Skip-Gram模型(https://zhuanlan.zhihu.com/p/27234078)，如果看过的小伙伴可以直接开始动手用TensorFlow实现自己的Word2Vec模型，本篇文章将利用TensorFlow来完成Skip-Gram模型。还不是很了解Skip-Gram思想的小伙伴可以先看一下上一篇的专
最近，在自然语言处理（NLP）领域中，使用语言模型预训练方法在多项 NLP 任务上都获得了不错的提升，广泛受到了各界的关注。今天，两位主讲嘉宾为大家精选了近期语言模型预训练方法中的几个代表性模型（包括 ELMo，OpenAI GPT 和 BERT），和大家一起学习分享最新的研究进展。
前言 上一篇的专栏介绍了Word2Vec中的Skip-Gram模型的结构和训练，如果看过的小伙伴可以直接开始动手用TensorFlow实现自己的Word2Vec模型，本篇文章将利用TensorFlow来完成Skip-Gram模型。还不是很了解Skip-Gram思想的小伙伴可以先看一下上一篇的专栏内容。 本篇实战代码的目的主要是加深对Skip-Gram模型中一些思想和trick的理解。由于受限于语料规模、语料质量、算法细节以及训练成本的原因，训练出的结果显然是无法跟gensim封装的Word2Vec相比的
读论文是做AI的人必需要下的功夫，所以咱们开通了专栏《每周NLP论文推荐》。本着有三AI的一贯原则，即系统性学习，所以每次的论文推荐也会是成系统的，争取每次能够把一个领域内的“故事”基本说清楚。
glove： NLP︱高级词向量表达（一）——GloVe（理论、相关测评结果、R&python实现、相关应用） 极简使用︱Glove-python词向量训练与使用
LLM，Large Language Model，大语言模型。为什么叫2.0？因为在大语言模型，也就是LLM出现之前，我们把它归结为1.0时代。那么1.0时代主要的是NLP（自然语言处理）的各类工程，它其实都是一个特点，就是说通用性比较差。那么整个AI领域的终极的圣杯，或者说将来它的一个终极的一个希望做到的，是AGI（Artificial General Intelligence，人工通用智能）。1.0可能是一个单任务的这么一个AI。比如深蓝战胜象棋冠军，他只会下象棋，而且他的下象棋是学习了很多的这个象棋的这个国际象棋的这个套路，他只会干这一个事情，而且你问他别的事情他肯定不知道。
李林 编译整理 量子位 报道 | 公众号 QbitAI 让神经网络理解每个词的意思很容易，但上下文、词语之间的关系，依然是自然语言处理(NLP)中的难题。 Salesforce的一群NLP研究者发现，搞图像识别的同行们有个不错的办法，值得一试。 在图像识别领域，把ImageNet上预训练的CNN拿来，用在其他图像识别模型中，已经成为一种惯例。这种把训练好的模型参数迁移到新模型的方法，也就是这两年大热的迁移学习。 理解上下文，就是一个非常适合迁移学习的问题。 Learned in Translation 我们
前面讲到一些文本基本处理方法。一个文本串，对其进行分词和重要性打分后（当然还有更多的文本处理任务），就可以开始更高层的语义分析任务。
「Key insight:」 虽然预训练BERT已经广泛地运用到了各种下游的NLP任务上，但在文本语义相似度计算任务上，未经微调的BERT句向量的质量常常不如GloVe句向量。针对这个问题，作者首先分析了BERT句向量分布的性质，然后利用标准化流无监督地将BERT句向量的分布变换成更规整的高斯分布，实验结果表明作者提出的BERT-flow在多项任务上取得了SOTA表现。
前一篇介绍了两个作者溯源的工作，从二进制代码和源代码两方面实现作者去匿名化或识别。这篇文章主要介绍六个非常具有代表性的向量表征算法，它们有特征词向量表示、文档向量表示、图向量表示，以及两个安全领域二进制和日志的向量表征。通过类似的梳理，让读者看看这些大佬是如何创新及应用到新领域的，希望能帮助到大家。这六篇都是非常经典的论文，希望您喜欢。一方面自己英文太差，只能通过最土的办法慢慢提升，另一方面是自己的个人学习笔记，并分享出来希望大家批评和指正。希望这篇文章对您有所帮助，这些大佬是真的值得我们去学习，献上小弟的膝盖~fighting！
Pre-trained Models for Natural Language Processing: A Survey
在NLP领域，自然语言通常是指以文本的形式存在，但是计算无法对这些文本数据进行计算，通常需要将这些文本数据转换为一系列的数值进行计算。那么具体怎么做的呢？这里就用到词向量的概念。
前一篇文章分享了生成对抗网络（GAN），详细讲解什么是生成对抗网络，及常用算法（CGAN、DCGAN、infoGAN、WGAN）、发展历程、预备知识。
小编邀请您，先思考： 1 word2vec算法原理是什么？ 2 word2vec与doc2vec有什么差异？ 3 如何做word2vec和doc2vec？ 深度学习掀开了机器学习的新篇章，目前深度学习应用于图像和语音已经产生了突破性的研究进展。深度学习一直被人们推崇为一种类似于人脑结构的人工智能算法，那为什么深度学习在语义分析领域仍然没有实质性的进展呢？ 引用三年前一位网友的话来讲： “Steve Renals算了一下icassp录取文章题目中包含deep learning的数量，发现有44篇，而n
AI Lab开源大规模高质量中文词向量数据，800万中文词随你用，质量非常高，就是一个词向量.txt文件都有16G之多，太夸张了。。不过的确非常有特点：
课程主页： http://web.stanford.edu/class/cs224n/
作者：王千发 编辑：龚 赛 什么是文本分类 1 文本分类在文本处理中是很重要的一个模块，它的应用也非常广泛，比如：垃圾过滤，新闻分类，等等。传统的文本分类方法的流程基本是： 预处理：首先进行分词，然后是除去停用词； 将文本表示成向量，常用的就是文本表示向量空间模型； 进行特征选择，这里的特征就是词语，去掉一些对于分类帮助不大的特征。常用的特征选择的方法是词频过滤，互信息，信息增益，卡方检验等； 接下来就是构造分类器，在文本分类中常用的分类器一般是SVM，朴素贝叶斯等； 训练分类器，后面
上一篇 斯坦福大学NLP-cs224课程笔记2：词向量 介绍了 Word2vec 模型的基本思想，得到目标函数，给定中心词求上下文概率，最后还说到用 negative sampling 方法优化目标函数，常见的 Word2vec的两种形式：Skip-Gram，CBOW模型。
最近深度学习技术有了突飞猛进的发展，为语音识别、图像识别、自然语言处理（NLP）提供了强大的工具，为这些领域今后的快速发展提供了新的契机。 深度学习为自然语言处理带来的最令人兴奋的突破是词向量（word embedding）技术。词向量技术是将词转化成为稠密向量，并且对于相似的词，其对应的词向量也相近。 在自然语言处理应用中，词向量作为深度学习模型的特征进行输入。因此，最终模型的效果很大程度上取决于词向量的效果。
在自然语言处理任务中，首先需要考虑词如何在计算机中表示。通常，有两种表示方式：one-hot representation和distribution representation。
Word2vec,Word2vec，是为一群用来产生词向量的相关模型。这些模型为浅而双层的神经网络，用来训练以重新建构语言学之词文本。网络以词表现，并且需猜测相邻位置的输入词，在word2vec中词袋模型假设下，词的顺序是不重要的。训练完成之后，word2vec模型可用来映射每个词到一个向量，可用来表示词对词之间的关系，该向量为神经网络之隐藏层。
项目中要对短文本进行相似度估计，word2vec是一个很火的工具。本文就word2vec的训练以及加载进行了总结。
词向量、词嵌入或者称为词的分布式表示，区别于以往的独热表示，已经成为自然语言任务中的一个重要工具，对于词向量并没有直接的方法可以评价其质量，下面介绍几种间接的方法。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
云直播
