前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Word2Vec:基于上下文的分布式表达

Word2Vec:基于上下文的分布式表达

作者头像
AngelNH
发布2020-07-17 10:08:51
1.1K0
发布2020-07-17 10:08:51
举报
文章被收录于专栏:AngelNI

Word2Vec:基于上下文的分布式表达

Word2Vec是语言模型中的一种,它是从大量文本预料中以无监督方式学习语义知识的模型,被广泛地应用于自然语言处理中。

Word2Vec是用来生成词向量的工具,而词向量与语言模型有着密切的关系。

基本思想

首先用一个神经网络,将词映射一个向量(即分布式嵌入向量);然后将这个向量通过另一个神经网络(预测网络)生成一个词分布,使得这个生成的词分布与其对应的上下文分布尽可能的一致。由于分布式嵌入向量通过预测网络可以近似表达词的上下文分布,因此,我们认为分布式嵌入向量包含课词的上下文信息,进而也就可以作为词语义的一种合理的表达。

目前Word2Vec有两种最常见的算法,分别是CBOM(Continuous Bag-of-Words)算法和Skip-Gram算法。这两个算法互为镜像,理解了其中一个算法,以外一个算法也就非常容易理解。

CBOM与Skip-Gram的区别

Skip-Gram:将当前词作为输入,其对应的上下文最为输出,训练神经网络。训练的目标是网络的输出(即预测的上下文)与其实际的上下文越接近越好。

CBOM:在训练时,对于每一个词,他以该词的上下文最为输入,而将该词最为输出,即用词的上下文来预测该词。

CBOM模型

A simple CBOM

目标函数定义如下:

拓展到CBOM

Skip-gram模型

如上图所示,Skip-gram model是通过输入一个词去预测多个词的概率。输入层到隐藏层的原理和simple CBOW一样,不同的是隐藏层到输出层,损失函数变成了C个词损失函数的总和,权重矩阵W′还是共享的。

参考资料:

【1】《深度学习模型及应用详解》

【2】https://www.cnblogs.com/leebxo/p/12929684.html

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2020-07-16|,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • Word2Vec:基于上下文的分布式表达
    • 基本思想
      • CBOM与Skip-Gram的区别
        • CBOM模型
          • A simple CBOM
          • 拓展到CBOM
        • Skip-gram模型
        相关产品与服务
        NLP 服务
        NLP 服务(Natural Language Process,NLP)深度整合了腾讯内部的 NLP 技术,提供多项智能文本处理和文本生成能力,包括词法分析、相似词召回、词相似度、句子相似度、文本润色、句子纠错、文本补全、句子生成等。满足各行业的文本智能需求。
        领券
        问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档