Seq2Seq是指一般的序列到序列的转换任务,特点是输入序列和输出序列是不对齐的,比如机器翻译、自动文摘等等。...假如原句子为X=(a,b,c,d,e,f),目标输出为Y=(P,Q,R,S,T),则Seq2Seq模型如下:
模型的工作原理如下;
Encoder部分首先通过RNN及其变种(LSTM、GRU)等进行编码...还有一种做法是将c当做每一步的输入:
对于问答系统来说输入包括Questions和Documents两部分,所以要在输入进Decoder的时候要进行融合,可以选择Concatenate。...因此各个维度的含义如下 :
samples为样本数目
timesteps为句子长度(padding后的max_len)
input_dim为数据的维度
下面的三个代码写法是等价的。...该层的批输入形状然后(32, 10, 16)。