NLP: Text Neural Network (Part2: Seq2Seq)

Seq2Seq Definition

简称 "序列到序列"模型，使用Encoder-Decoder结构，Encoder用来分析Input Sequence，Decoder用于生成Output Sequence; 使用两个RNN

seq2seq模型

Encoder 编码器

Encoder 将 不定长input转换成 定长的 Context Variable which is c, 并且在c中输入sequence信息

常用 Encoder 是 RNN

RNN Hidden Layer转换

计算 Context Variable

Decoder 解码器

Decoder 计算，s代表state当前状态

通过output y 和 Context c 生成条件概率

Training 模型训练

最大似然估计计算 Input Sequence 条件概率

计算 Input Sequence 条件概率

损失函数 Loss Function

Loss Function of Seq2Seq

Seq2Seq 模型预测

Greedy Search 贪婪搜索

从 |Y| 个词中搜索出条件概率最大的词

贪婪搜索计算条件概率，算出output y

通过output 计算output sequence

Greedy Search 贪婪搜索例子

每次选取概率最大的词，输出序列条件概率为 0.5 * 0.4 * 0.4 * 0.6 = 0.048，输出序列 ABC<eos>

图中例子 序列条件概率为 0.5 * 0.3 * 0.6 * 0.6 = 0.054 大于 0.048，说明贪婪搜索输出的不是最好的

穷举搜索

将所有可能的条件概率全都计算一遍； 计算开销过大

Beam Search 束搜索

Bean Search 是对 Greedy Search的优化方案

设置 Beam Size = k，选取k个条件概率最大的词，组成 候选输出概率首词

Beam Search 图解

output sequence 计算公式，L是最终候选序列长度，alpha一般为0.75

Bleu得分

BLEU 是 Bilingual Evaluation Understudy 双语评估替补

Bleu 概率计算

Bleu 公式

此处，k代表希望匹配的字序列的最大词数