社区首页 >专栏 >【关于 fastText】那些你不知道的事

【关于 fastText】那些你不知道的事

原创

杨夕

修改于 2021-03-02 02:02:30

1.2K0

作者：杨夕项目地址：https://github.com/km1994/NLP-Interview-Notes 个人论文读书笔记：https://github.com/km1994/nlp_paper_study 【注：手机阅读可能图片打不开！！！】

Lee 等提出了利用多层 conv 和 pooling 和 highway layer 的方式来解决该问题，其结构如下所示：
- 输入的字符首先需要经过 Character embedding 层，并被转化为 character embeddings 表示；
- 采用不同窗口大小的卷积核对输入字符的 character embeddings 表示进行卷积操作，论文中采用的窗口的大小分别为 3、4、5 ，也就是说学习 Character-level 的 3-gram、4-gram、5-gram;
- 对不同卷积层的卷积结果进行 max-pooling 操作，即捕获其最显著特征生成 segment embedding;
- segment embedding 经过 Highway Network (有些类似于Residual network，方便深层网络中信息的流通，不过加入了一些控制信息流量的gate）；
- 输出结果再经过单层 BiGRU，得到最终的 encoder output;
- 之后，decoder再利用Attention机制以及character level GRU进行decode
通过这种方式不仅能够解决 Word-level 所存在的 OOV 问题，而且能够捕获句子的 3-gram、4-gram、5-gram 信息，这个也是后期 FastText 的想法雏形；

在前面，我们已经介绍和比较了 word-level 和 character-level 的优缺点，并根据其特点，提出一种介于 word-level Model 和 Character-level 之间的 Model —— Subword Model。

那么，我们可不可以采取类似于上面的subword的思路来产生更好的word embedding呢？

FAIR的FastText就是利用subword将word2vec扩充，有效的构建embedding。

之前方法：
- 以词汇表中的独立单词作为基本单元来进行训练学习的
- 存在问题：
  - 低频词、罕见词：由于在语料中本身出现的次数就少，得不到足够的训练，效果不佳
  - 未登录词：如果出现了一些在词典中都没有出现过的词，或者带有某些拼写错误的词，传统模型更加无能为力

s1. 将一个单词打散到字符级别；
s2. 利用字符级别的n-gram信息来捕捉字符间的顺序关系
- 目的：以此丰富单词内部更细微的语义
举例：
- 对于一个单词“google”，为了表达单词前后边界，我们加入<>两个字符，即变形为“”；
- 抽取所有的tri-gram信息：G = { <go, goo, oog,ogl, gle, le>}；
- 通过这种方式：原始的一个单词google，就被一个字符级别的n-gram集合所表达；

由于需要估计的参数多，模型可能会比较膨胀
压缩模型的建议：
- 采用hash-trick：由于n-gram原始的空间太大，可以用某种hash函数将其映射到固定大小的buckets中去，从而实现内存可控；
- 采用quantize命令：对生成的模型进行参数量化和压缩；
- 减小最终向量的维度。

传统 softmax
- 介绍：
  - 以隐藏层的输出h为输入，经过线性和指数变换后，再进行全局的归一化处理，找到概率最大的输出项；
- 问题：
  - 当词汇数量V较大时（一般会到几十万量级），Softmax计算代价很大，是O(V)量级。

步骤：
- 从根结点开始，每个中间结点（标记成灰色）都是一个逻辑回归单元，根据它的输出来选择下一步是向左走还是向右走；
- 上图示例中实际上走了一条“左-左-右”的路线，从而找到单词w₂。而最终输出单词w₂的概率，等于中间若干逻辑回归单元输出概率的连乘积；