开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

解码器中嵌入层的输出(神经机器翻译)

解码器中嵌入层的输出是神经机器翻译中的一个重要概念。在神经机器翻译中，编码器将源语言句子编码成一个固定长度的向量表示，然后解码器通过这个向量表示生成目标语言的翻译结果。

嵌入层的输出是指解码器中的一个层，它将目标语言的词嵌入成一个向量表示。这个向量表示包含了目标语言词的语义信息，可以用来指导解码器生成准确的翻译结果。

嵌入层的输出通常是一个固定维度的向量，可以通过训练神经网络来学习得到。在训练过程中，解码器会根据目标语言的正确翻译结果来调整嵌入层的参数，使得生成的翻译结果与目标语言尽可能接近。

嵌入层的输出在神经机器翻译中起到了至关重要的作用。它不仅可以提供目标语言词的语义信息，还可以帮助解码器理解源语言句子的含义，从而生成更准确的翻译结果。

在实际应用中，嵌入层的输出可以用于各种机器翻译任务，包括文本翻译、语音翻译等。它可以提高翻译的准确性和流畅度，提升用户体验。

腾讯云提供了一系列与神经机器翻译相关的产品和服务，包括自然语言处理平台、机器翻译API等。您可以通过以下链接了解更多关于腾讯云的产品和服务：

腾讯云自然语言处理平台：https://cloud.tencent.com/product/nlp
腾讯云机器翻译API：https://cloud.tencent.com/product/tmt

相关搜索:可以得到嵌入keras层的输出吗？神经网络中的隐藏层在训练神经网络的过程中应该改变嵌入层吗？在使用RNN的神经机器翻译的上下文中，投影层是什么？Pytorch复制层中的神经元 pytorch中神经网络中的冻结层在神经网络中λ层的输出形状不正确。如何改变它？神经网络中的连续输出嵌入Conv或Rnn的tf-hub层的错误输出 Keras中嵌入的输入层的维度 AlexNet中卷积层的输出如何将层中神经元的输出相乘？(最好在Keras或Tensorflow中)如何将输出层连接到另一个神经网络的输入层？Keras自定义softmax层:是否可以在softmax层的输出中将基于零的输出神经元设置为0作为输入层中的数据？卷积神经网络中的Flatten()层和Dense()层有什么不同？形状属性中的神经网络密集层错误如何获得TensorFlow层中神经元的数量？神经网络中的哪些层使用激活函数？如何丢弃神经网络中的整个隐藏层？keras中输出层的小数精度

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

教程 | 如何为神经机器翻译配置编码器-解码器模型？

选自machinelearningmastery 作者：Jason Brownlee 机器之心编译参与：Panda 神经机器翻译已经成为了当前表现最好的机器翻译方法，这在很大程度上得益于编码器-解码器架构的应用。Jason Brownlee 近日发表文章对论文《Massive Exploration of Neural Machine Translation Architectures》的研究成果进行了介绍，给出了为神经机器翻译配置编码器-解码器模型的方法和一些实用的建议。编码器-解码器架构的循环神经

05

如何为神经机器翻译配置一个编码器 - 解码器模型

循环神经网络（RNN，Recurrent Neural Networks）中的编码器 - 解码器（Encoder-Decoder）架构在标准机器翻译基准上取得了相当先进的成果，这一架构目前正被工业级翻译服务作为核心来使用。

09

ACL论文 | 深度学习大神新作，神经网络的自然语言翻译应用

在 8月7日在德国柏林召开的2016 计算语言学（ACL）大会上，学者Thang Luong、Kyunghyun Cho 和 Christopher D. Manning进行了关于神经机器翻译（NMT）的讲座。神经机器翻译是一种简单的新架构，可以让机器学会翻译。该方法虽然相对较新，已经显示出了非常好的效果，在各种语言对上都实现了最顶尖的表现。神经网络在自然语言处理方面，未来有巨大的应用潜力。讲座学者之一 Kyunghyn Cho 与深度学习“大神” Yoshua Bengio、蒙特利尔大学学者 Jun

05

神经机器翻译的编码 - 解码架构有了新进展，具体要怎么配置？

用于循环神经网络的编码 - 解码架构，在标准机器翻译基准上取得了最新的成果，并被用于工业翻译服务的核心。该模型很简单，但是考虑到训练所需的大量数据，以及调整模型中无数的设计方案，想要获得最佳的性能是非常困难的。值得庆幸的是，研究科学家已经使用谷歌规模的硬件为我们做了这项工作，并提供了一套启发式的方法，来配置神经机器翻译的编码 - 解码模型和预测一般的序列。在这篇文章中，您将会获得，在神经机器翻译和其他自然语言处理任务中，如何最好地配置编码 - 解码循环神经网络的各种细节。阅读完这篇文章后，你将知道

04

用于神经网络机器翻译的全并行文本生成

本文介绍了一种用于神经网络机器翻译的全并行文本生成方法，该方法通过同时考虑多个可能的派生计划来生成翻译，从而显著减少了延迟。通过使用自回归模型和非自回归模型，作者展示了在翻译任务中，该方法在质量和速度方面均取得了显著的优势。

00

用于神经网络机器翻译的全并行文本生成

在过去的几年里，神经网络为文本分类和问题回答等自然语言任务的准确性和质量带来了快速的提高。深度学习导致的令人印象深刻的结果的一个领域是需要机器生成自然语言文本的任务;其中两个任务是基于神经网络的模型需要具有最先进性能的文本摘要和机器翻译。然而，到目前为止，所有基于神经网络和深度学习的文本生成模型都具有相同的，令人惊讶的人类局限性：像我们一样，他们只能逐字，甚至逐字母地生成语言。今天Salesforce正宣布一个能够克服这个限制的神经网络机器翻译系统，以完全并行的方式一次翻译整个句子。这意味着用户等待时间降

05

RNNsearch、Multi-task、attention-model...你都掌握了吗？一文总结机器翻译必备经典模型（一）

机器之心专栏本专栏由机器之心SOTA！模型资源站出品，每周日于机器之心公众号持续更新。本专栏将逐一盘点自然语言处理、计算机视觉等领域下的常见任务，并对在这些任务上取得过 SOTA 的经典模型逐一详解。前往 SOTA！模型资源站（sota.jiqizhixin.com）即可获取本文中包含的模型实现代码、预训练模型及 API 等资源。本文将分 3 期进行连载，共介绍 18 个在机器翻译任务上曾取得 SOTA 的经典模型。第 1 期：RNNsearch、Multi-task、attention-mode

02

神经机器翻译之全并行文本生成技术

在过去的几年里，随着技术的飞速发展，神经网络推动了自然语言任务在准确性和质量方面的快速提高，如文本分类和问题回答等。而其中由深度学习带来的一个令人印象深刻的领域是需要机器来生成自然语言文本的任务。其中两个任务是基于神经网络模型且具有最先进的性能的是文本摘要和机器翻译。然而，到目前为止，所有基于神经网络和深度学习的文本生成模型都具有相同的、令人惊讶的局限性：就像我们一样，它们只能逐个单词，甚至逐个字母地生成语言。如今，Salesforce正宣布了一个能够克服这种局限性的神经机器翻译系统，它可以以完全并行的

04

机器翻译新突破！“普适注意力”模型：概念简单参数少，性能大增

目前，最先进的机器翻译系统基于编码器-解码器架构，首先对输入序列进行编码，然后根据输入编码生成输出序列。两者都与注意机制接口有关，该机制基于解码器状态，对源令牌的固定编码进行重新组合。

04

百分点认知智能实验室出品：机器翻译是如何炼成的（下）

在“机器翻译是如何炼成的（上）”的文章中，我们回顾了机器翻译的发展史。在本篇文章中，我们将分享机器翻译系统的理论算法和技术实践，讲解神经机器翻译具体是如何炼成的。读完本文，您将了解：

01

学界 | 谷歌联合英伟达重磅论文：实现语音到文本的跨语言转录

选自arxiv 机器之心编译参与：吴攀、李亚洲、蒋思源机器翻译一直是人工智能研究领域的重头戏，自去年谷歌推出了神经机器翻译（GNMT）服务以来，相关技术的研发并没有止步不前，在多语言翻译和 zero-shot 翻译上也取得了引人注目的进展。近日，谷歌大脑和英伟达联合发布的一篇论文《序列到序列模型可以直接转录外语语音（Sequence-to-Sequence Models Can Directly Transcribe Foreign Speech）》将机器翻译这方面的研究又向前推进了一步，实现了从一种语

09

学界 | 普适注意力：用于机器翻译的2D卷积神经网络，显著优于编码器-解码器架构

深度神经网络对自然语言处理技术造成了深远的影响，尤其是机器翻译（Blunsom, 2013; Sutskever et al., 2014; Cho et al., 2014; Jean et al., 2015; LeCun et al., 2015）。可以将机器翻译视为序列到序列的预测问题，在这类问题中，源序列和目标序列的长度不同且可变。目前的最佳方法基于编码器-解码器架构（Blunsom, 2013; Sutskever et al., 2014; Cho et al., 2014; Bahdanau et al., 2015）。编码器「读取」长度可变的源序列，并将其映射到向量表征中去。解码器以该向量为输入，将其「写入」目标序列，并在每一步用生成的最新的单词更新其状态。基本的编码器-解码器模型一般都配有注意力模型（Bahdanau et al., 2015），这样就可以在解码过程中重复访问源序列。在给定解码器当前状态的情况下，可以计算出源序列中的元素的概率分布，然后使用计算得到的概率分布将这些元素的特征选择或聚合在解码器使用的单个「上下文」向量中。与依赖源序列的全局表征不同，注意力机制（attention mechanism）允许解码器「回顾」源序列，并专注于突出位置。除了归纳偏置外，注意力机制还绕过了现在大部分架构都有的梯度消失问题。

02

【TensorFlow 谷歌神经机器翻译】从零开始打造属于你的翻译系统

【新智元导读】谷歌今天公布了一个用 TensorFlow 构建神经机器翻译（NMT）系统的教程，全面解释 seq2seq 模型，并演示如何从零开始构建 NMT 翻译模型。这个教程从 NMT 的背景知识讲起，详细讲解如何构建并训练一个 NMT 模型，并提供代码，绝对有用。机器翻译——自动在两种语言之间进行翻译的任务——是机器学习中最活跃的研究领域之一。在多种机器翻译方法中，序列到序列（“seq2seq”）模型最近取得了巨大的成功，并已经成为大多数商业翻译系统的事实上的标准，例如谷歌翻译。这是由于 seq2s

04

图解Transformer — Attention Is All You Need

2017年谷歌大脑在《注意力是你所需要的一切》一文中解释了Transformer 。本文是随着自然语言处理领域的发展而来的。许多最先进的NLP模型都是以Transformer 为基础建立的。

03

利用 RNN 训练 Seq2Seq 已经成为过去，CNN 才是未来？

本文介绍了一种用于对话的摘要生成方法，该方法利用强化学习从原始对话中提取关键信息并生成简洁的摘要。首先，通过编码器将原始对话转换为向量表示，然后使用解码器生成摘要。在训练过程中，使用强化学习中的策略网络来评估解码器生成的摘要的奖励，以优化摘要的生成。实验结果表明，该方法能够有效地从原始对话中提取关键信息并生成简洁的摘要，同时具有良好的泛化能力。

00

FlowSeq、mBART、BERT-fused、mRASP、mRASP2...你都掌握了吗？一文总结机器翻译必备经典模型（三）

机器之心专栏本专栏由机器之心SOTA！模型资源站出品，每周日于机器之心公众号持续更新。本专栏将逐一盘点自然语言处理、计算机视觉等领域下的常见任务，并对在这些任务上取得过 SOTA 的经典模型逐一详解。前往 SOTA！模型资源站（sota.jiqizhixin.com）即可获取本文中包含的模型实现代码、预训练模型及 API 等资源。本文将分 3 期进行连载，共介绍 18 个在机器翻译任务上曾取得 SOTA 的经典模型。第 1 期：RNNsearch、Multi-task、attention-model

02

利用RNN训练Seq2Seq已经成为过去，CNN才是未来？

翻译 | AI科技大本营（rgznai100）参与 | Shawn、周翔当前 seq2seq （序列到序列）学习惯用的方法是，借助 RNN（循环神经网络）将输入序列转变为变长输出序列（variable length output sequence），而 FAIR （Facebook AI Research）则提出了一种完全基于 CNN （卷积神经网络）的架构。相比循环模型，其训练过程中所有元素的计算都可以完全并行化，GPU 硬件的性能可以得到更好的利用；而且，由于非线性的数量是固定的并且不受输入

07

经典Seq2Seq与注意力Seq2Seq模型结构详解

在本文中，我们将分析一个经典的序列对序列(Seq2Seq)模型的结构，并演示使用注意解码器的优点。这两个概念将为理解本文提出的Transformer奠定基础，因为“注意就是您所需要的一切”。

02

不用看数学公式！图解谷歌神经机器翻译核心部分：注意力机制

注意力（Attention）机制，是神经机器翻译模型中非常重要的一环，直接影响了翻译的准确度与否。

03

Attention Is All You Need

主流的Seq-Seq的模型通常采用RNN或者是CNN，一般在网络结构中都会用到encoder和decoder, 效果比较好的模型会通过attention(注意力机制)连接encoder和decoder。但是这种网络结构也存在一些问题：

03

多项NLP任务新SOTA，Facebook提出预训练模型BART

近日，Facebook 发表论文，提出一种为预训练序列到序列模型而设计的去噪自编码器 BART。BART 通过以下步骤训练得到：1）使用任意噪声函数破坏文本；2）学习模型来重建原始文本。BART 使用基于 Transformer 的标准神经机器翻译架构，可泛化 BERT（具备双向编码器）、GPT（具备从左至右的解码器）等近期出现的预训练模型，尽管它非常简洁。Facebook 研究人员评估了多种噪声方法，最终通过随机打乱原始句子的顺序，再使用新型文本填充方法（即用单个 mask token 替换文本段）找出最优性能。

02

【NLP】Facebook提出的预训练模型BART

近日，Facebook 发表论文，提出一种为预训练序列到序列模型而设计的去噪自编码器 BART。BART 通过以下步骤训练得到：1）使用任意噪声函数破坏文本；2）学习模型来重建原始文本。BART 使用基于 Transformer 的标准神经机器翻译架构，可泛化 BERT（具备双向编码器）、GPT（具备从左至右的解码器）等近期出现的预训练模型，尽管它非常简洁。Facebook 研究人员评估了多种噪声方法，最终通过随机打乱原始句子的顺序，再使用新型文本填充方法（即用单个 mask token 替换文本段）找出最优性能。

01

谷歌开放GNMT教程：如何使用TensorFlow构建自己的神经机器翻译系统

选自谷歌机器之心编译参与：机器之心编辑部近日，谷歌官方在 Github 开放了一份神经机器翻译教程，该教程从基本概念实现开始，首先搭建了一个简单的NMT模型，随后更进一步引进注意力机制和多层 LSTM 加强系统的性能，最后谷歌根据 GNMT 提供了更进一步改进的技巧和细节，这些技巧能令该NMT系统达到极其高的精度。机器之心对该教程进行简要的描述，跟详细和精确的内容请查看项目原网站。 GitHub 链接：https://github.com/tensorflow/nmt 机器翻译，即跨语言间的自动翻译，

06

python用于NLP的seq2seq模型实例:用Keras实现神经机器翻译

在本文中，我们将看到如何创建语言翻译模型，这也是神经机器翻译的非常著名的应用。我们将使用seq2seq通过Python的Keras库创建我们的语言翻译模型。

01

神经机器翻译与代码（上）

本文中蓝色字体为外部链接，部分外部链接无法从文章中直接跳转，请点击【阅读原文】以访问。

01

python用于NLP的seq2seq模型实例:用Keras实现神经机器翻译

在本文中，我们将看到如何创建语言翻译模型，这也是神经机器翻译的非常著名的应用。我们将使用seq2seq体系结构通过Python的Keras库创建我们的语言翻译模型。

00

深度 | 从各种注意力机制窥探深度学习在NLP中的神威

作者 Antoine Tixier 表示整篇综述笔记也是他学习过程的一部分，所以这一文章还会在 arXiv 上继续更新。为了完成整篇文章，作者主要借鉴了各种卷积神经网络的原论文、斯坦福 CS231n 课程笔记、 Zhang 和 Wallace 关于在 NLP 中运用 CNN 的实战指南、基于 CNN 的文本分类论文等，这些构建了该综述文章卷积神经网络部分的主体内容。

03

深度 | 从各种注意力机制窥探深度学习在NLP中的神威

作者 Antoine Tixier 表示整篇综述笔记也是他学习过程的一部分，所以这一文章还会在 arXiv 上继续更新。为了完成整篇文章，作者主要借鉴了各种卷积神经网络的原论文、斯坦福 CS231n 课程笔记、 Zhang 和 Wallace 关于在 NLP 中运用 CNN 的实战指南、基于 CNN 的文本分类论文等，这些构建了该综述文章卷积神经网络部分的主体内容。

02

一文读懂 Transformer 神经网络模型

自从最新的大型语言模型（LLaM）的发布，例如 OpenAI 的 GPT 系列、开源模型 Bloom 以及谷歌发布的 LaMDA 等，Transformer 模型已经展现出了其巨大的潜力，并成为深度学习领域的前沿架构楷模。

NLP教程(6) - 神经机器翻译、seq2seq与注意力机制

教程地址：http://www.showmeai.tech/tutorials/36

05

从模型到算法，详解一套AI聊天机器人是如何诞生的

您是否曾经利用 Siri、Alexa 或者 Cortana 以对话方式设置闹钟、呼叫朋友甚至是安排会议日程？相信大多数朋友和我一样，感觉虽然这些方案在日常生活与工作中能够起到一定作用，但仍然很难与之谈论一般性、特别是哲学层面的话题。通过自然语言与机器交互属于通用型人工智能方案的基本要求之一。这一 AI 研究领域被称为对话系统、口语对话系统或者是聊天机器人。在这类场景下，机器需要能够结合对话背景为用户提供翔实的答案，而且在理想情况下应实现与人类无异的沟通效果。但在实践当中，最后一项要求往往很难达成。不过

06

序列模型——吴恩达深度学习课程笔记（五）

输入或者输出中包含有序列数据的模型叫做序列模型。以循环神经网络RNN为基础建立的序列模型在自然语言处理，语音识别等领域中引起了巨大的变革。以下是一些序列模型的典型应用：

02

你可能不再需要Attention：这是一个贼简单的神经机器翻译架构

自从编码器解码器架构崛起以来，主流的神经机器翻译（NMT）模型都使用这种架构，因为它允许原文序列长度和译文序列长度不一样。而自 Bahdanau 等研究者在 14 年提出基于注意力的 NMT 模型后，基于编码器解码器架构的 NMT 模型差不多都会加上注意力机制。尤其是在 2017 年谷歌发表论文「Attention is all your need」后，注意力机制更是坐上了宝座，这篇论文相当于进一步形式化表达了注意力机制，并提出了只使用 Multi-head Attention 的翻译模型 Transformer。

03

这7种NLP黑科技让你更好交流！来看一看是什么（Part1）

【导读】本文用简洁易懂的语言，讲述了自然语言处理（NLP）的前世今生。从什么是NLP到为什么要学习NLP，再到如何利用机器学习进行NLP，值得一读。这是该系列的第一部分，介绍了三种NLP技术：文本嵌入

02

亚马逊开源神经机器翻译框架Sockeye：基于Apache MXNet的NMT平台

选自Amazon 机器之心编译参与：机器之心编辑部随着神经机器翻译（NMT）技术的不断演进，越来越多的科研机构和公司选择开源自己的项目，让更多人能够开发出自己的 NMT 模型。此前，清华大学开源了神经机器翻译工具包 THUMT，谷歌也推出了基于 TensorFlow 的 NMT 模型搭建教程。作为 MXNet 的支持者，亚马逊也开源了自己的 NMT 框架 Sockeye。在本文中，亚马逊宣称这个基于 MXNet 的工具可以用于构建目前业内表现最佳的神经机器翻译模型。 Sockeye GitHub 链接：

08

【干货】seq2seq模型实例：用Keras实现机器翻译

【导读】近日，人工智能学者Ravindra Kompella发表一篇博客，介绍了作者实现的基于keras的机器翻译例子。作者通过一个seq2seq编码器-解码器网络实现英语到法语的自动翻译。作者在博文中详细介绍了自己的模型架构和训练数据，并使用代码片段分步骤对训练过程进行讲解。总之，这是一篇比较详尽的机器翻译应用示例教程，如果你有从事机器翻译或seq2seq模型相关的研究，可以详细阅读一下，相信一定对您的工程和理论都有所帮助。专知内容组编辑整理。 Neural Machine Translation——Us

08

【深度学习 | Transformer】释放注意力的力量:探索深度学习中的变形金刚，一文带你读通各个模块 —— 总结篇（三）

Transformer 模型使用残差连接（residual connections）来使梯度更容易传播，在进行self(自我)-attention 加权之后输出，也就是 Self(自我)-Attention(Q, K, V)，然后把他们加起来做残差连接

01

Unsupervised NMT、PBSMT、coarse-to-fine...你都掌握了吗？一文总结机器翻译必备经典模型（二）

机器之心专栏本专栏由机器之心SOTA！模型资源站出品，每周日于机器之心公众号持续更新。本专栏将逐一盘点自然语言处理、计算机视觉等领域下的常见任务，并对在这些任务上取得过 SOTA 的经典模型逐一详解。前往 SOTA！模型资源站（sota.jiqizhixin.com）即可获取本文中包含的模型实现代码、预训练模型及 API 等资源。本文将分 3 期进行连载，共介绍 18 个在机器翻译任务上曾取得 SOTA 的经典模型。第 1 期：RNNsearch、Multi-task、attention-mode

03

【谷歌机器翻译破世界纪录】仅用Attention模型，无需CNN和RNN

【新智元导读】谷歌在机器翻译上的一项最新研究：仅使用注意力机制构建模型，不需要CNN和RNN。作者称，在机器翻译上这一模型效果超越了当下所有公开发表的机器翻译模型，在BLUE上取得创纪录的成绩。训练速度和效率上： 8 颗 P100 GPU 上3.5 天完成训练。该研究可以看成是对Facebook此前机器翻译突破的回应：不久前，Facebook发布了基于卷积神经网络的方法，取得了当时最高准确度，并且速度是谷歌基于循环神经网络(RNN)系统的9倍。谷歌大脑、谷歌研究院和多伦多大学学者合作的一项新研究称，使用

04

【译】可视化神经机器翻译模型（Seq2seq 模型的注意力机制）

注意：下面的动画是视频。轻触或（使用鼠标）悬停在它们上，可获得播放控件，以便在需要时暂停。

01

详细介绍Seq2Seq、Attention、Transformer ！！

本文将从Seq2Seq工作原理、Attention工作原理、Transformer工作原理三个方面，详细介绍Encoder-Decoder工作原理。

01

专访 | 大规模集成Transformer模型，阿里达摩院如何打造WMT 2018机器翻译获胜系统

机器之心原创作者：思源在刚刚结束的 WMT2018 国际机器翻译大赛上，阿里巴巴达摩院机器智能实验室机器翻译团队打败多个国外巨头与研究机构，并在英文-中文翻译、英文-俄罗斯语互译、英文-土耳其语互译这 5 个项目的自动评测指标 BLEU 分值都位居第一。阿里达摩院机器智能实验室的陈博兴博士和司罗教授向机器之心介绍了阿里在机器翻译领域的布局应用，以及如何通过对标准的 Transformer 模型进行改进和优化，而获得更为优秀的神经机器翻译系统。 WMT 的全称是 Workshop on Machine T

05

Transformer：Attention机制、前馈神经网络、编码器与解码器

在自然语言处理领域，Transformer模型已经成为了主流的深度学习架构。凭借其强大的处理能力和高效的性能，Transformer在许多NLP任务中都取得了显著的成果。而在Transformer模型中，Attention机制起到了至关重要的作用。

01

学界 | 结合堆叠与深度转换的新型神经翻译架构：爱丁堡大学提出BiDeep RNN

选自arXiv 作者：Antonio Valerio Miceli Barone等机器之心编译参与：Nurhachu Null、李泽南在神经机器翻译问题中，不同的堆叠架构已经多次在不同研究中展现出了良好的表现，而深度转换架构（Deep transition architecture）则成功地用于语言建模等用途中。爱丁堡大学与 Charles University 的研究者们对这两种架构的多个组合形式在 WMT 翻译任务中的表现进行了测试，并提出了结合堆叠与深度转换的新型神经网络：BiDeep RNN。

04

神经网络结构——CNN、RNN、LSTM、Transformer ！！

本文将从什么是CNN？什么是RNN？什么是LSTM？什么是Transformer？四个问题，简单介绍神经网络结构。

01

Attention的可解释性及其在网络结构中的应用

本文首先讨论了使用注意力的关键神经网络体系结构；接着讨论了在神经网络中加入注意力是如何带来显著的性能提高的，通过Attention的可解释性，对神经网络内部工作的有了更深入的了解；最后讨论了三个应用领域的注意建模的应用。

01

精选论文 | 机器翻译【附打包下载】

机器翻译一直是自然语言处理领域的热门及前沿方向，不论是sequence-to-sequence架构，attention mechanism还是Transformer模型等，都和机器翻译有着最为紧密的关系。6月2日（周日），《SFFAI 32-机器翻译》两位主讲嘉宾（张文，邵晨泽）为大家精选了机器翻译近期在模型、训练、解码以及非自回归结构中的几篇代表性工作，和大家一起学习分享最新的研究进展。

05

专访 | 监管机器翻译质量？且看阿里如何搭建翻译质量评估模型

阿里机器翻译团队在本次比赛中，参加了英语到德语和德语到英语两个语向的句子级别和词级别的七项质量评估任务，收获了六项世界冠军。其中，德语到英语的统计机器翻译评估任务中（German-English SMT)，句子级别和词级别的预测任务分别取得第一名；英语到德语的统计机器翻译评估任务中 (English-German SMT)，句子级别取得第一名，词级别的词预测和漏词预测分别取得第一名。同时，英语到德语的神经网络机器翻译评估任务中 (English-German NMT)，词级别的词预测取得第一名。

01

万字长文概述NLP中的深度学习技术

自然语言处理（NLP）是指对人类语言进行自动分析和表示的计算技术，这种计算技术由一系列理论驱动。NLP 研究从打孔纸带和批处理的时代就开始发展，那时分析一个句子需要多达 7 分钟的时间。到了现在谷歌等的时代，数百万网页可以在不到一秒钟内处理完成。NLP 使计算机能够执行大量自然语言相关的任务，如句子结构解析、词性标注、机器翻译和对话系统等。

02

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭