本文介绍Google新提出的一种名为"TeaForN"的缓解Exposure Bias现象的方案，来自论文《TeaForN: Teacher-Forcing with N-grams》，它通过嵌套迭代的方式，让模型能提前预估到后N个token（而不仅仅是当前要预测的token），其处理思路上颇有可圈可点之处，值得我们学习
自香农在《通信的数学原理》一书中提出「下一个 token 预测任务」之后，这一概念逐渐成为现代语言模型的核心部分。最近，围绕下一个 token 预测的讨论日趋激烈。
理理思路 文本处理，这里我是以eng_fra的文本为例，每行是english[tab]french，以tab键分割。获取文本，清洗。 分别建立字典，一个english，一个french。 根据字典写好seq2id的函数（文本序列->数字序列），并调用将文本序列化。 初始化Encoder，Decoder模型；选择合适的优化器；设置lr，epochs等参数； 开始循环迭代： 1.因为文本太大，这里是随机选择某句进行训练。 2.句子通过Encoder，Encoder产生新的隐层和每层的输出；再将开始标志<SOS>
机器之心报道 机器之心编辑部 来自 DeepMind 等机构的研究者提出了一个通用神经算法学习器，其能够学习解决包括排序、搜索、贪心算法、动态规划、图形算法等经典算法任务，达到专家模型平均水平。 近年来，基于深度神经网络的机器学习系统取得了巨大的进步，尤其是在以感知为主的任务方面。这些模型通常需要在分布内泛化，这意味着它们的训练集和验证集需要有输入预期分布。相比之下，想要模型在推理任务上表现出色，这就要求即使在分布外（out-of-distribution, OOD）泛化时模型也能提供合理的输出。 然而，多
本文提出了一个新的损失函数，混合交叉熵损失（Mixed CE），用于替代在机器翻译的两种训练方式（Teacher Forcing和 Scheduled Sampling）里常用的交叉熵损失函数（CE）。
【导读】注意力模型（Attention Model）被广泛使用在自然语言处理、图像识别及语音识别等各种不同类型的深度学习任务中，是深度学习技术中最值得关注与深入了解的核心技术之一。 本文以序列模型训练为例，深入浅出地介绍了注意力机制在应用中的两个重要问题：一是解决训练和生成时输入数据分布不一致；二是训练效率，并给出了相应的解决方法。作者是Awni Hannun，斯坦福大学在读博士，师从吴恩达，曾经休学两年跟随导师吴恩达在百度硅谷实验室工作，是百度Deep Speech语音识别项目主要参与者。专知内容组整理编
下载: https://download.pytorch.org/tutorial/data.zip
原博客地址：https://blog.csdn.net/michaelshare/article/details/124178685
李林 问耕 编译整理 量子位 出品 | 公众号 QbitAI 你知道fast.ai么？ 他们以提供零基础的深度学习课程而闻名，宣称：只要你有高中数学基础、一年的编程经验，就能通过七周的学习，具备一流的
神经机器翻译是自然语言处理中的重要任务。目前的通用做法是，训练时输入源句子（source sentence）和目标句子（target sentence）组成的句子对，训练神经网络模型后，在测试集上生成翻译文本。
这可以通过序列到序列网络来实现，其中两个递归神经网络一起工作以将一个序列转换成另一个序列。编码器网络将输入序列压缩成向量，并且解码器网络将该向量展开成新的序列。
在线语音通话已经成为人们日常生活的一部分，但数据包常以错误的顺序或错误的时间到达另一端，有时个别数据包甚至可能会完全丢失。这不仅导致通话质量降低，而且是音频和视频传输都普遍存在的问题。
在机器翻译(Neural Machine Translation)中，Seq2Seq模型将源序列映射到目标序列，其中Encoder部分将源序列编码为Context Vector传递给Decoder，Decoder将Context Vector解码为目标语言的序列。
编者按：微软亚洲研究院提出新的预训练模型 ProphetNet，提出了一种新的自监督学习目标——同时预测多个未来字符，在序列到序列的多个自然语言生成任务都取得了优异性能。
选自arXiv 作者：William Fedus等 机器之心编译 参与：Jane W、李泽南 生成对抗网络（GAN）自推出以来，在计算机视觉领域中引起了一股风潮，在自然语言处理中却鲜有研究。看来，这或许需要 GAN 的提出者 Ian Goodfellow 自己来推动。谷歌大脑 William Fedus、Ian Goodfellow 和 Andrew M. Dai 共同提交的论文中，研究人员使用 GAN 和强化学习方法在 NLP 中做了自己的探索。目前，该论文已提交至 ICLR 2018 大会。 前言 循
选自Keras Blog 作者：Francois Chollet 机器之心编译 参与：黄小天、路雪 如何在 Keras 中实现 RNN 序列到序列学习？本文中，作者将尝试对这一问题做出简短解答；本文预设你已有一些循环网络和 Keras 的使用经验。 GitHub：https://github.com/fchollet/keras/blob/master/examples/lstm_seq2seq.py 什么是序列到序列学习？ 序列到序列学习（Seq2Seq）是指训练模型从而把一个域的序列（比如英语语句）转化
作者 | Francois Chollet 编译 | 雁惊寒 seq2seq是一种把序列从一个域（例如英语中的句子）转换为另一个域中的序列（例如把相同的句子翻译成法语）的模型训练方法。目前有多种方法可以用来处理这个任务，可以使用RNN，也可以使用一维卷积网络。 很多人问这个问题：如何在Keras中实现RNN序列到序列（seq2seq）学习？本文将对此做一个简单的介绍。 什么是seq2seq学习 序列到序列学习（seq2seq）是一种把序列从一个域（例如英语中的句子）转换为另一个域中的序列（例如把相同的句子
想象一下：你的朋友为了听一首歌纠缠了你好几个星期，即使你告诉他们你不喜欢艾德·希兰（Ed Sheeran），神烦！他们一直纠缠你，声称“旋律使它伟大”。要是你能换一种形式来听这种旋律就好了，比如巴赫的管风琴协奏曲那样。
简介：内容相当丰富，涵盖神经网络机器翻译、问答匹配、电影评价分类、新闻分类等多个领域。这是一个教你逐步实现和适应简单的实词 NLP 任务的教程。这些资源都提供了源码，对初学者来说，极为友好，可以学会建立自己的模型。
【新智元导读】Samy Bengio，刚刚创业的 Youshua Bengio的弟弟，昨天在 Arxiv 上发布了他与同事、Google Brain 研究人员 Lukasz Kais 被今年 NISP 接收的文章，提出了一种新的模型，提升神经机器翻译水平，同时解开了 Active Memory 为何在提升机器翻译的效果不如提升语音、图像识别的原因，最后介绍了如何发挥 Active Memory 模型的最大潜力，以及哪些情况下更适合使用注意力模型。 此前，新智元曾经报道了谷歌神经翻译取得的突破，神经网络机器翻
【导读】本文全面系统性梳理介绍了强化学习用于发掘GAN在NLP领域的潜力，请大家阅读。 专知公众号转载已获知乎作者SCUT 胡杨授权。 原文地址：https://zhuanlan.zhihu.com/p/2916880 1. 基础：文本生成模型的标准框架 文本生成（Text Generation）通过 机器学习 + 自然语言处理 技术尝试使AI具有人类水平的语言表达能力，从一定程度上能够反应现今自然语言处理的发展水平。 下面用极简的描述介绍一下文本生成技术的大体框架，具体可以参阅各种网络文献（比如：CSDN
想象一下：你的朋友几周来一直在唠叨你听一首歌，尽管你已经告诉他你不喜欢 Ed Sheeran。 他们继续纠缠你，声称“旋律是伟大的”。 如果只有你能听到文明形式的那种旋律，就像巴赫管风琴协奏曲那样。
在本教程中，我们探索一个好玩有趣的循环的序列到序列（sequence-to-sequence）的模型用例。我们将用Cornell Movie-Dialogs Corpus处的电影剧本来训练一个简单的聊天机器人。
Encoder-decoder 模型在序列到序列的自然语言处理任务（如语言翻译等）中提供了最先进的结果。多步时间序列预测也可以被视为一个 seq2seq 任务，可以使用 encoder-decoder 模型来处理。本文提供了一个用于解决 Kaggle 时间序列预测任务的 encoder-decoder 模型，并介绍了获得前 10% 结果所涉及的步骤。
作者 | 李理 环信人工智能研发中心 VP，十多年自然语言处理和人工智能研发经验。主持研发过多款智能硬件的问答和对话系统，负责环信中文语义分析开放平台和环信智能机器人的设计与研发。 （在阅读本文之前，建议你先阅读该系列的前两篇文章，附完整代码：①一文详解循环神经网络的基本概念，②实战 | 手把手教你用PyTorch实现图像描述） 本示例会介绍使用 seq2seq 网络来实现机器翻译，同时使用注意力机制来提高seq2seq的效果(尤其是长句)。 图5.24: seq2seq 模型 ▌sequence to s
AI科技评论按：本文作者莫驚蟄，原文载于知乎，获授权转载。 我来答一答自然语言处理方面GAN的应用 直接把GAN应用到NLP领域（主要是生成序列），有两方面的问题： 1. GAN最开始是设计用于生成连续数据，但是自然语言处理中我们要用来生成离散tokens的序列。因为生成器(Generator，简称G)需要利用从判别器(Discriminator，简称D)得到的梯度进行训练，而G和D都需要完全可微，碰到有离散变量的时候就会有问题，只用BP不能为G提供训练的梯度。在GAN中我们通过对G的参数进行微小的改变
文章知乎链接 https://zhuanlan.zhihu.com/p/92654122
如今我们身处海量信息时代，大量时间被用来处理电子邮件、文章或社交媒体的帖子等信息，有预计称，这种消耗状态会超过半天时间，甚至更多。
本文转载自： https://mp.weixin.qq.com/s?__biz=MzUzNTA1NTQ3NA==&mid=2247484192&idx=1&sn=55070a51c19535427
本文是对计算所冯洋组完成，被 AAAI2020 录用的论文《Modeling Fluency and Faithfulness for Diverse Neural Machine Translation》进行解读，相关工作已开源。
本次任务我们将学习来自TOP选手“swg-lhl”的冠军建模方案，该方案中采用的模型是TCNN+RNN。
每天给你送来NLP技术干货！ ---- 编辑：AI算法小喵 写在前面 在《一文详解生成式文本摘要经典论文Pointer-Generator》中，我们已经详细地介绍过长文本摘要模型 PGN+Coverage。这个工作小喵20年初的时候不仅研读了，同时也做了相关的复现与优化尝试，没记错的话当时用的是TF框架。碍于年代久远，当时也没有做笔记的习惯，所以没法跟大家分享相关的实践内容。 不过，小喵最近发现了一篇与之相关实践类博文，作者将 PGN+Coverage 用在营销文本生成任务上。整个实验与代码实现写的非常详细
AI 科技评论按：人工智能技术目前越来越火爆，近日，2018 年图灵奖得主揭晓，获奖的三位科学家是分别是 Yoshua Bengio、Yann LeCun 和 Geoffrey Hinton。相信在人工智能领域，没有人不知道这三位，众所周知，他们被称为「深度学习三巨头」。
2022年2月26日，J Comput Chem杂志发表了来自知名AI药物发现公司Iktos的Yann Gaston-Mathé等人的一项早期的工作，展示了如何用深度学习实现药物分子的多参数优化。
相比于计算机视觉，NLP可能看起来没有那么有趣，这里没有酷炫的图像识别、AI作画、自动驾驶，我们要面对的，几乎都是枯燥的文本、语言、文字。但是，对于人工智能的征途来说，NLP才是皇冠上的那颗珍珠，它美丽却又难以摘取，当NLP的问题解决了，机器才真正具备了理解、思考的能力，我们才敢说实现了真正的“智能”。
这篇论文描述了Tacotron 2， 一个直接从文本合成语音的神经网络架构。系统由两部分构成，一个循环seq2seq结构的特征预测网络，把字符向量映射为梅尔声谱图，后面再接一个WaveNet模型的修订版，把梅尔声谱图合成为时域波形。我们的模型得到了4.53的平均意见得分（MOS），专业录制语音的MOS得分是4.58。为了验证模型设计，我们对系统的关键组件作了剥离实验研究，并且评估了使用梅尔频谱替代语言学、音长和F0特征作为WaveNet输入带来的不同影响。我们进一步展示了使用紧凑的声学中间表征可以显著地简化WaveNet架构
摘要：单纯的下一个next-token predictor能否真正地模拟人类智能？我们将这一文献中支离破碎的直观问题具体化。作为出发点，我们认为必须区别对待下一个标记预测中两个经常被混淆的阶段--自回归推理和教师强迫训练。流行的批评认为，在自回归推理过程中错误可能会加剧，而这一批评的关键在于假设教师强制训练已经学会了准确的下一个标记预测器。这一假设回避了我们所揭示的一个更深层次的问题：在某些任务中，教师强制可能根本无法学习到准确的下一个标记预测器。我们描述了teacher-forcing fail的一般机制，并设计了一个最小规划任务，在这个任务中，Transformer 和 Mamba 架构都以这种方式失败了--令人惊讶的是，尽管这个任务是简单易学的。我们提供的初步证据表明，在训练提前预测多个标记时，这种失败是可以解决的。我们希望这一发现能为未来的争论提供依据，并激发对下一个标记预测范式之外的探索。
上一篇博客讲了Transformers里面的self-attention，在NLP领域中其实attentionseq2seq的时候就有广泛应用了。这篇文章主要总结一下从从RNN LSTM GRU seq2seq 到attention的种类及应用，方便大家理解整体发展与attention机制。
一套面向实战、号称“代码优先”的NLP课程来了，名字为A Code-First Introduction to Natural Language Processing，fast.ai出品，全程免费学习。
其中第一步 权重的初始化 对模型的训练速度和准确性起着重要的作用，所以需要正确地进行初始化。
Author:Lei Shen Yang Feng 会议：ACL2020 paper:https://arxiv.org/abs/2005.00329
今天给大家介绍瑞士知名药企阿斯利康和伯尔尼大学的 Esben Jannik Bjerrum团队在Nature Machine Intelligence上的一篇论文。该研究提出基于分子SMILES表示的条件循环神经网络，输入目标性质，模型可直接生成具有对应性质的分子。
选自Medium 作者：yonatan hadar 机器之心编译 参与：Nurhachu Null、路 本文介绍了三种用于表征句子的无监督深度学习方法：自编码器、语言模型和 Skip-Thought
【新智元导读】近期，TensorFlow官方推文推荐了一款十分有趣的项目——用Attention模型生成图像字幕。而该项目在GitHub社区也收获了近十万“点赞”。项目作者Yash Katariya十分详细的讲述了根据图像生成字幕的完整过程，并提供开源的数据和代码，对读者的学习和研究都带来了极大的帮助与便利。
云从表示，这已是云从在近半年以来第二次宣布刷新世界纪录。今年 4 月，云从科技跨镜追踪技术（ReID）技术在 Market-1501，DukeMTMC-reID，CUHK03 三个数据集刷新了世界纪录，其中最高在 Market-1501 上的首位命中率（Rank-1 Accuracy）达到 96.6%，让跨镜追踪技术（ReID）技术在准确率上首次达到商用水平。
本教程将手把手地带你了解如何训练一个Transformer语言模型。我们将使用TensorFlow框架,在英文Wikipedia数据上预训练一个小型的Transformer模型。教程涵盖数据处理、环境配置、模型构建、超参数选择、训练流程等内容。
授权转载自知乎: SCUT 胡杨 除了干货，我们还约了作者本人和大家聊一聊！用线上免费直播的形式，把原理和思考都讲透！还有和作者互动提问的机会哟！拉至文末即可扫码进群听课！ 1、基础：文本生成模型的标准框架 文本生成（Text Generation）通过 机器学习 + 自然语言处理 技术尝试使AI具有人类水平的语言表达能力，从一定程度上能够反应现今自然语言处理的发展水平。 下面用极简的描述介绍一下文本生成技术的大体框架，具体可以参阅各种网络文献（比如：CSDN经典Blog“好玩的文本生成”[1]），论文等。
今天我们进入 Seq2Seq 的领域，了解这种更为复杂且功能强大的模型，它不仅能理解词汇(Word2Vec)，还能把这些词汇串联成完整的句子。
数据准备是模型训练的基础,本教程将详细介绍Transformer在自然语言处理任务中的数据准备过程。我们将以文本分类任务为例,手把手教你如何获取质量好的语料,进行数据清洗与预处理,制作符合Transformer输入要求的训练集、验证集和测试集。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
