Seq2Seq是指一般的序列到序列的转换任务,特点是输入序列和输出序列是不对齐的,比如机器翻译、自动文摘等等。...假如原句子为X=(a,b,c,d,e,f),目标输出为Y=(P,Q,R,S,T),则Seq2Seq模型如下:
模型的工作原理如下;
Encoder部分首先通过RNN及其变种(LSTM、GRU)等进行编码...2.采用pickle序列化中间结果,一般来说生成的二进制数据比较大,但是能大大加快读取速度。
3.代码结构函数化,使用面向对象的方式编程,增强代码的可复用性。...4.通过小批量数据验证代码的正确性,方便程序的调试。
5.使用Pycharm远程连接服务器来跑代码,结合计算资源和开发工具,提升开发效率。
存在的问题
1.没有使用batch来小批量输入数据。...2.训练和预测使用的decoder结果不同,编写循环的预测decoder。
3.前端的word2vec词向量和最新的ElMo模型的对比实验。
4.对比不同的decoder结构对模型的影响程度。