词向量（Word Vector）或词嵌入（Word Embedding）是自然语言处理（NLP）中的一项基础技术，它允许我们将自然语言中的词汇表示为实数向量。这些向量通常存在于一个高维空间内，其中每一个维度都可能代表着某种语义属性。通过这种转换，机器学习模型可以捕捉到词语之间复杂的关系，如语义相似性、反义、上下位关系等。
今年一月开始，我一直在从事一个从非结构化的文本中提取信息的项目。在开始这个项目之前，我对自然语言处理（NLP）领域一无所知。当我刚开始研究这个领域时，我很快就找了一本名为「Python 自然语言处理」的书（图书查阅地址：https://www.nltk.org/book/）。这本书对于我来说过于理论化了，但其中的知识基本是正确的，因此它对我来说仍然是无价的资源。接下来，我发现了 Dipanjan Sarkar 编写的「Python 文本分析」（图书查阅地址：https://www.apress.com/gp/book/9781484243534），并从头到尾通读了此书。这本书真的太棒了，它教会了我入门 NLP 项目所需的所有技术技能。最近，此书的第二版（https://www.apress.com/gp/book/9781484243534）也面世了，对上个版本进行了大量的扩充。
◆ ◆ ◆ 1.语言模型 语言模型用于对特定序列的一系列词汇的出现概率进行计算。一个长度为m的词汇序列 的联合概率被表示为 由于在得到具体的词汇之前我们会先知道词汇的数量，词汇 的属性变化会根据其在
读完先修知识中的文章之后，你会发现：RNN由于其顺序结构训练速度常常受到限制，既然Attention模型本身可以看到全局的信息， 那么一个自然的疑问是我们能不能去掉RNN结构，仅仅依赖于Attention模型，这样我们可以使训练并行化，同时拥有全局信息？
往计算机输入文字，是整个自然语言处理（NLP）领域的宏大故事的一部分，而 NLP 则是人工智能的重要分支研究领域。
Salesforce最新论文提出了一个可处理多项自然语言处理的通用模型：decaNLP，处理机器翻译、文本分类等NLP任务统统不在话下！
事实上，可解释性并没有数学上的严格定义，可以简单理解其为人们能够理解模型决策原因的程度。换句话说，对机器学习模型来说，它的可解释性越高，人们就越容易理解它为什么做出某些决策或预测。
机器之心专栏 本专栏由机器之心SOTA！模型资源站出品，每周日于机器之心公众号持续更新。 本专栏将逐一盘点自然语言处理、计算机视觉等领域下的常见任务，并对在这些任务上取得过 SOTA 的经典模型逐一详解。前往 SOTA！模型资源站（sota.jiqizhixin.com）即可获取本文中包含的模型实现代码、预训练模型及 API 等资源。 本文将分 3 期进行连载，共介绍 18 个在机器翻译任务上曾取得 SOTA 的经典模型。 第 1 期：RNNsearch、Multi-task、attention-mode
目前深度学习中热点之一就是注意力机制（Attention Mechanisms）。Attention源于人类视觉系统，当人类观察外界事物的时候，一般不会把事物当成一个整体去看，往往倾向于根据需要选择性的去获取被观察事物的某些重要部分，比如我们看到一个人时，往往先Attend到这个人的脸，然后再把不同区域的信息组合起来，形成一个对被观察事物的整体印象。
作者 | Antonio 编辑 | 陈彩娴 ACL 2022已经于近期正式在官网上刊登了录取的文章，其中涉及到词义消歧（Word Sense Disambiguation, WSD）的文章共有4篇，参考下图的查询。 WSD是指识别出有多个义项的目标词汇在上下文中的含义，是NLP中一个重要并且具有NP-hard复杂度的任务，不仅可以帮助机器更好地识别词汇语义，还对机器翻译、文本理解等下游任务起到辅助作用。 本文简要整理并介绍其中已经公布了论文全文的前三篇，值得注意的是，这三篇都出自同一个课题组，即来自意大利罗
在这个信息爆炸的时代，掌握一门语言不仅仅是为了交流，更是为了能够更深入地理解这个世界。Relingo，一款创新的浏览器扩展程序，正以其独特的方式帮助用户通过他们感兴趣的内容来扩展和掌握词汇。今天，我们就来详细探索一下这款工具的魅力所在。
摘要：这篇介绍论文的目的是讲述如何让计算机处理语言的故事。这是自然语言处理（NLP）领域的一部分，而 NLP 又是人工智能的一个分支领域。本文的目标是让广泛的受众都能获得对计算机编程的基本理解，但其中避免了详细的数学描述，并且不会给出任何算法。本文的重点也并非 NLP 的任何特定的应用，比如翻译、问答或信息抽取。这里给出的思想经过了许多研究者数十年的发展，所以引用的文献并非详尽无遗，但能为读者指出一些在作者看来影响深远的论文。在读完本文之后，你应当会有对词向量（也被称为词嵌入）的大致理解：它们为何存在、它们解决的是什么问题、它们来自何处、它们如何随时间变化、有关它们还有那些有待解决的问题。建议已经熟悉词向量的读者跳至第 5 节查看有关当前最新进展「上下文词向量」的讨论。
在机器学习中，训练数据集的质量在很大程度上决定了模型的有效性。我们往往没有足够的多样化数据，这影响了模型的准确性。这时数据增强技术就派上了用场。
只有一层或两层、且只有注意力块的transformer，在性能上有望达到96层、兼具注意力块与MLP块的GPT-3的效果吗？ 作者 | Mordechai Rorvig 编译 | bluemin 编辑 | 陈彩娴 在过去的两年里，基于Transformer架构开发的大规模语言模型在性能（如语言流畅度）上达到了令人叹为观止的效果。 但是，Transformer对单词的处理方法是什么？学术界仍未有确定的答案。普遍的理解是，transformer模型能够以某种方式同时关注多个单词，以便立即进行“全局”分析。但它到
这篇文章翻译自http://jalammar.github.io/illustrated-gpt2/。多图详细解释当今最为强大的人工智能 GPT-2(截至 2019 年 8 月 12 日)。
Attention机制通俗的说，对于某个时刻的输出y，它在输入x上各个部分上的注意力，这里的注意力也就是权重，即输入x的各个部分对某时刻输入y贡献的权重，在此基础上我们先来简单理解一下Transformer模型中提到的self-attention和context-attention
自然语言处理（NLP）是一门交叉学科领域，涵盖了计算机科学、人工智能、语言学等多个学科。它旨在使计算机能够理解、解释和生成人类语言的方式，从而创建与人类之间的自然、无缝的交互。
L2 Chatbot 人类直接完成绝⼤部份⼯作。人类向AI询问意见，了解信息AI提供信息和建议但不直接处理工作。
在这篇文章中，我们将构建一个基于LSTM的Seq2Seq模型，使用编码器-解码器架构进行机器翻译。
《圣经》中记载，人类曾经联合起来兴建能通往天堂的高塔，为了阻止人类的计划，上帝让人类说不同的语言，使人类相互之间不能沟通，计划因此失败，人类自此各散东西。
计算语言：人类语言技术学会北美分会2019年年会（North American Chapter of the Association for Computational Linguistics: Human Language Technologies/NAACL- HLT）于6月2至7日美国明尼阿波利斯举办。NAACL- HLT是A级同行评审会议，是继计算语言学协会（ACL）会议之后，计算语言学界的又一重要事件，即自然语言处理（NLP）。
AI科技大本营按：目前的NLP领域有一个问题：即使是再厉害的算法也只能针对特定的任务，比如适用于机器翻译的模型不一定可以拿来做情感分析或摘要。
翻译 | 于之涵 编辑 | Leo 出品 | 人工智能头条 （公众号ID：AI_Thinker） 人工智能头条按：目前的NLP领域有一个问题：即使是再厉害的算法也只能针对特定的任务，比如适用于机器翻译的模型不一定可以拿来做情感分析或摘要。 然而近日，Salesforce发布了一项新的研究成果：decaNLP——一个可以同时处理机器翻译、问答、摘要、文本分类、情感分析等十项自然语言任务的通用模型。 Salesforce的首席科学家RichardSocher在接受外媒采访时表示：我们的decaNLP就好比NL
翻译：于之涵 编辑：Leo 出品：AI科技大本营 （公众号ID：rgznai100）
其中 表示 Target 的真实值，而 表示模型得出的 Taret 的预测值。
attention mechanism，称为注意力机制。基于Attention机制，seq2seq可以像我们人类一样，将“注意力”集中在必要的信息上。
注意： 下面的动画是视频。轻触或（使用鼠标）悬停在它们上，可获得播放控件，以便在需要时暂停。
语言模型（LM）是很多自然语言处理（NLP）任务的基础。早期的 NLP 系统主要是基于手动编写的规则构建的，既费时又费力，而且并不能涵盖多种语言学现象。直到 20 世纪 80 年代，人们提出了统计语言模型，从而为由 N 个单词构成的序列 s 分配概率，即：
本专栏将逐一盘点自然语言处理、计算机视觉等领域下的常见任务，并对在这些任务上取得过 SOTA 的经典模型逐一详解。前往 SOTA！模型资源站（sota.jiqizhixin.com）即可获取本文中包含的模型实现代码、预训练模型及 API 等资源。
【导读】本文用简洁易懂的语言，讲述了自然语言处理（NLP）的前世今生。从什么是NLP到为什么要学习NLP，再到如何利用机器学习进行NLP，值得一读。这是该系列的第一部分，介绍了三种NLP技术：文本嵌入
本文介绍了一种用于对话的摘要生成方法，该方法利用强化学习从原始对话中提取关键信息并生成简洁的摘要。首先，通过编码器将原始对话转换为向量表示，然后使用解码器生成摘要。在训练过程中，使用强化学习中的策略网络来评估解码器生成的摘要的奖励，以优化摘要的生成。实验结果表明，该方法能够有效地从原始对话中提取关键信息并生成简洁的摘要，同时具有良好的泛化能力。
BERT 来自 Google 的论文Pre-training of Deep Bidirectional Transformers for Language Understanding[1]，BERT 是“Bidirectional Encoder Representations from Transformers”的首字母缩写，整体是一个自编码语言模型（Autoencoder LM），并且其设计了两个任务来预训练该模型。
翻译：@胡杨(superhy199148@hotmail.com) && @胥可(feitongxiaoke@gmail.com) 校对调整：寒小阳 && 龙心尘 时间：2016年7月 出处：http://blog.csdn.net/han_xiaoyang/article/details/51932536
阿里机器翻译团队在本次比赛中，参加了英语到德语和德语到英语两个语向的句子级别和词级别的七项质量评估任务，收获了六项世界冠军。其中，德语到英语的统计机器翻译评估任务中（German-English SMT)，句子级别和词级别的预测任务分别取得第一名；英语到德语的统计机器翻译评估任务中 (English-German SMT)，句子级别取得第一名，词级别的词预测和漏词预测分别取得第一名。同时，英语到德语的神经网络机器翻译评估任务中 (English-German NMT)，词级别的词预测取得第一名。
春联传统源远流长，一幅写春联的需要极高的文学素养，不仅要求平仄齐整、意境对称，还要表达辟邪除灾、迎祥纳福的美好愿望。
https://blog.csdn.net/u011239443/article/details/80521026 论文地址：http://pdfs.semanticscholar.org/071b/16f25117fb6133480c6259227d54fc2a5ea0.pdf
翻译 | AI科技大本营（rgznai100） 参与 | Shawn、周翔 当前 seq2seq （序列到序列）学习惯用的方法是，借助 RNN（循环神经网络）将输入序列转变为变长输出序列（variable length output sequence），而 FAIR （Facebook AI Research）则提出了一种完全基于 CNN （卷积神经网络）的架构。相比循环模型，其训练过程中所有元素的计算都可以完全并行化，GPU 硬件的性能可以得到更好的利用；而且，由于非线性的数量是固定的并且不受输入
在本文中，我们将分析一个经典的序列对序列(Seq2Seq)模型的结构，并演示使用注意解码器的优点。这两个概念将为理解本文提出的Transformer奠定基础，因为“注意就是您所需要的一切”。
自 2017 年推出以来，Transformer 已成为机器学习领域的一支重要力量，彻底改变了翻译和自动完成服务的功能。
在上一课，我们了解了 JavaScript 执行中最粗粒度的任务：传给引擎执行的代码段。并且，我们还根据“由 JavaScript 引擎发起”还是“由宿主发起”，分成了宏观任务和微观任务，接下来我们继续去看一看更细的执行粒度。
写不出SCI，你总能给自己找到各种借口：零基础、英语薄弱、老师没教....相信今天介绍的四款翻译神器，将帮助你解脱，更是包办论文写作，适合不同level，还涉及审稿人回复信的写作，请私藏，今年争取逆袭国奖！
选自Quantamagazine 机器之心编译 作者：Mordechai Rorvig 机器之心编辑部 这家由 OpenAI 前核心员工组成的 AI 创业公司，正在努力打开 Transformer 的黑箱。 在过去的两年里，人工智能在自然语言处理领域的突破达到了惊人的水平。很多重要的突破都是基于谷歌在 2017 年提出的 Transformer 架构。 但在模型之下，我们仍然不知道 Transformer 对其处理的单词做了什么。从普遍的理解来看，它们能够以某种方式关注多个单词，从而可以立即进行「全局」分
项目链接：https://github.com/Embedding/Chinese-Word-Vectors
AI 科技评论按：在自然语言处理任务中，循环神经网络是一种常见的方法，但近来，一种只依赖于注意力机制的特定神经网络模型已被证明它对于常见的自然语言处理任务的效果甚至优于循环神经网络模型，这个模型被称为变换器（Transformer）。同时，数据科学家 Maxime Allard 发表了相应的文章对变换器的原理机制作了介绍与讲解，并用相应的实验帮助大家更好的理解这种神经网络模型，AI 科技评论将其编译如下。
作者：shenshen-hungry 机器之心编译 参与：刘晓坤、思源 对于国内自然语言处理的研究者而言，中文词向量语料库是需求很大的资源。近日，北京师范大学等机构的研究者开源了「中文词向量语料库」，试图为大家解决这一问题，该库包含经过数十种用各领域语料（百度百科、维基百科、人民日报 1947-2017、知乎、微博、文学、金融、古汉语等）训练的词向量，涵盖各领域，且包含多种训练设置。目前，该研究的论文《Analogical Reasoning on Chinese Morphological and Se
文经公众号「机器人圈」授权转载（微信号：ROBO_AI） 本文长度为4473字，建议阅读10分钟 本文为你介绍一套NLP文本分类深度学习方法库及其12个模型。 这个库的目的是探索用深度学习进行NLP文本分类的方法。 它具有文本分类的各种基准模型，还支持多标签分类，其中多标签与句子或文档相关联。 虽然这些模型很多都很简单，可能不会让你在这项文本分类任务中游刃有余，但是这些模型中的其中一些是非常经典的，因此它们可以说是非常适合作为基准模型的。 每个模型在模型类型下都有一个测试函数。 我们还探讨了用两个seq
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
