刚刚，前Quora技术VP、AI领域技术专家Xavier Amatriain在Quora上回答了一个相关的问题：2018年ML/AI领域最重要的进展是什么？
Machine Comprehension (MC) models answer natural language questions by selecting an answer span within an evidence text. The AllenNLP MC model is a reimplementation of BiDAF (Seo et al, 2017), or Bi-Directional Attention Flow, a widely used MC baseline that achieved state-of-the-art accuracies on the SQuAD dataset in 2017. The AllenNLP BIDAF model achieves an EM score of 68.3 on the SQuAD dev set, just slightly ahead of the original BIDAF system's score of 67.7, while also training at a 10x speedup (4 hours on a p2.xlarge).
在AllenNLP的主页上有个单独的菜单（http://allennlp.org/elmo），一直不太了解为何将它单列出来，主要在AllenNLP的许多任务中如文本蕴含里面等已经用到了这个模型所产生的词向量。
它发表于2018年末，自那之后的一年，NLP和NLU(自然语言理解)领域有了较大的发展。
本文来自公众号：哈工大SCIR，AI 科技评论 获授权转载，如需转载，请联系哈工大SCIR
基于Transformer的模型已经被证实可以有效地处理从序列标记到问题解答等不同类型的NLP任务，其中一种称为BERT[1]的模型得到了广泛使用，但是像其他采用深度神经网络的模型一样，我们对其内部运作知之甚少。一篇名为《 A Primer in BERTology: What we know about how BERT works[2]》的新论文旨在回答一些有关BERT为什么在这么多NLP任务中表现良好的问题。论文的内容包括：BERT学习的知识类型及其表示的位置，BERT是如何学习知识的，以及研究人员如何使用其他方法来改进它，等等。
这份内容干货满满，仅仅只是看了 slide 就知道是非常有意思的一次演讲了。slide 共有 254 页之多，在「赤乐君」知乎专栏分享内容的基础上，机器之心为大家介绍 NLP 及深度学习研究者的编程指南。
自然语言推理是NLP高级别的任务之一，不过自然语言推理包含的内容比较多，机器阅读，问答系统和对话等本质上都属于自然语言推理。最近在看AllenNLP包的时候，里面有个模块：文本蕴含任务(text entailment)，它的任务形式是：给定一个前提文本（premise），根据这个前提去推断假说文本（hypothesis）与premise的关系，一般分为蕴含关系（entailment）和矛盾关系（contradiction），蕴含关系（entailment）表示从premise中可以推断出hypothesis；矛盾关系（contradiction）即hypothesis与premise矛盾。文本蕴含的结果就是这几个概率值。
李林 编译整理 量子位 出品 | 公众号 QbitAI 微软联合创始人保罗·艾伦建立的艾伦人工智能研究院（AI2）今天发布了一个PyTorch上的开源自然语言处理（NLP）研究库：AllenNLP。
AI科技评论消息，艾伦人工智能研究院（AI2）开源AllenNLP，它是一个基于PyTorch的NLP研究库，利用深度学习来进行自然语言理解，通过处理低层次的细节、提供高质量的参考实现，能轻松快速地帮
良好学习过程的关键原则之一，就是让学习的内容略高于当前的理解。如果该主题与你已知的内容太过于相似，那么你就不会有很大的进步。另一方面，如果这个主题太难的话，你就会停滞不前，几乎没有进展。
选自GitHub 机器之心编译 参与：李泽南、黄小天 AllenNLP 可以让你轻松地设计和评估几乎所有 NLP 问题上最新的深度学习模型，并同基础设施一起让这些模型自由运行在云端和你的笔记本电脑上。 链接：http://allennlp.org (http://allennlp.org/) GitHub：https://github.com/allenai/allennlp Allen NLP 是一个基于 Apache 2.0 的 NLP 研究库，构建于 PyTorch 之上，可为开发者提供语言任务中的各
参考：《文本嵌入的经典模型与最新进展》 人们已经提出了大量可能的词嵌入方法。最常用的模型是 word2vec 和 GloVe，它们都是基于分布假设的无监督学习方法（在相同上下文中的单词往往具有相似的含义）。
情感分析是一种流行的文本分析技术，用来对文本中的主观信息进行自动识别和分类。它被广泛用于量化观点、情感等通常以非结构化方式记录的信息，而这些信息也因此很难用其他方式量化。情感分析技术可被用于多种文本资源，例如调查报告、评论、社交媒体上的帖子等。
2019年EMNLP自然语言处理实证方法会议11月3日至7日在中国香港召开。作为自然语言处理领域的顶级会议之一，在本次大会中，中国被接收的论文数量在所有国家和地区中位居第二。本届大会举办了18场 Workshops 、多个Tutorials和主题丰富的会议活动，吸引了超过1922人参会。
The named entity recognition model identifies named entities (people, locations, organizations, and miscellaneous) in the input text. This model is the "baseline" model described in Peters, Ammar, Bhagavatula, and Power 2017 . It uses a Gated Recurrent Unit (GRU) character encoder as well as a GRU phrase encoder, and it starts with pretrained GloVe vectors for its token embeddings. It was trained on the CoNLL-2003 NER dataset. It is not state of the art on that task, but it's not terrible either. (This is also the model constructed in our Creating a Model tutorial.)
2017 年可能是散播 AI 恐惧和 AI 炒作的一年，而 2018 年这些「宣传」开始降温。尽管一些大人物继续发表关于 AI 恐惧的言论，但他们或许太忙了，没把这件事当作日程重点。同时，媒体等群体在对待这个问题时似乎变得较为平静，尽管自动驾驶汽车和类似的技术不断发展，但不会立刻成真。也就是说，仍然有声音在抵抗「约束 AI 而不是约束 AI 产出」的糟糕主意。
EMNLP2018 254 页的《为NLP研究写出好代码》(Writing Code for NLP Research)的教程会给出答案。
https://www.cnblogs.com/the-wolf-sky/articles/10192363.html
让我们面对现实吧，你的模型可能还停留在石器时代。我敢打赌你仍然使用32位精度或GASP甚至只在一个GPU上训练。
作者 | 赤乐君，日本某大手研发部门的NLP工程师。关注关系抽取与知识图谱的相关研究。
之前，KDnuggets邀请了11位来自工业、学术和技术一线人员，回顾2018年AI的进展。其中，呼吁阻止AI学术顶会向商业化沦陷的CMU助理教授Zachary C. Lipton认为，2018年 (深度学习) 最大的进展就是没有进展。
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/sparkexpert/article/details/79868347
最近AllenNLP在EMNLP2018上做了一个主题分享，名为“写给NLP研究者的编程指南”（Writing Code for NLP Research）。
AllenNLP是一个相对成熟的基于深度学习的NLP工具包，它 构建于 PyTorch 之上，它的设计遵循以下原则： （1）超模块化和轻量化。你可以使用自己喜欢的组件与 PyTorch 无缝连接。 （2）经过广泛测试，易于扩展。测试覆盖率超过 90%，示例模型为你提供了很好的模板。 （3）真正的填充和覆盖，让你可以毫无痛苦地轻松实现正确的模型。
来源：专知（Quan_Zhuanzhi） 作者：{joelg,mattg,markn}@allenai.org
本周我们给大家整理了机器学习和竞赛相关的NLP库，方便大家进行使用，建议收藏本文。
前言 自BERT出现以来，nlp领域已经进入了大模型的时代，大模型虽然效果好，但是毕竟不是人人都有着丰富的GPU资源，在训练时往往就捉襟见肘，出现显存out of memory的问题，或者训练时间非常非常的久，因此，这篇文章主要解决的问题就是如何在GPU资源受限的情况下训练transformers库上面的大模型。 这篇文章源自Vadim Irtlach大佬在kaggle的开源notebook，感谢原作者的分享，本nlp小白觉得受益良多，因此搬运到知乎分享给大家，已取得作者授权，大部分内容是照搬翻译过来的，小
词向量（Word Vector）或词嵌入（Word Embedding）是自然语言处理（NLP）中的一项基础技术，它允许我们将自然语言中的词汇表示为实数向量。这些向量通常存在于一个高维空间内，其中每一个维度都可能代表着某种语义属性。通过这种转换，机器学习模型可以捕捉到词语之间复杂的关系，如语义相似性、反义、上下位关系等。
【前言】近年来，自然语言处理（NLP）的应用程序已经无处不在。NLP使用率的快速增长主要归功于通过预训练模型实现的迁移学习概念，迁移学习本质上是在一个数据集上训练模型，然后使该模型能够适应在不同的数据集上执行不同的NLP操作。这一突破使得每个人都能轻松地开启NLP任务，尤其是那些没有时间和资源从头开始构建NLP模型的人。所以，使用预训练模型处理NLP任务是目前非常热门的研究方向，本文将重点介绍八个预训练的NLP模型以及每个模型的相关资源。
下图是文本到文本框架的示意图。每个任务都使用文本作为模型的输入，通过训练生成一些目标文本。
【导读】近日，自然语言处理顶会EMNLP 2019 在中国香港落下帷幕。大会颁发了最佳论文奖等多个奖项。来自约翰·霍普金斯大学的研究团队摘得最佳论文奖，其一作为华人学者。
自然语言处理（Natural Language Process，简称NLP）是计算机科学、信息工程以及人工智能的子领域，专注于人机语言交互，探讨如何处理和运用自然语言。自然语言处理的研究，最早可以说开始于图灵测试，经历了以规则为基础的研究方法，流行于现在基于统计学的模型和方法，从早期的传统机器学习方法，基于高维稀疏特征的训练方式，到现在主流的深度学习方法，使用基于神经网络的低维稠密向量特征训练模型。
截止2022年11月8日，统计了下github中获星较多的pytorch生态库，有
若你是做NLP的，一定对词向量很亲切，若你是做推荐的，对词向量也一定不会陌生，以词向量为代表的序列向量化方法已经成为机器学习中必不可少的实战利器。
NLP的快速增长主要得益于通过预训练模型实现转移学习的概念。在NLP中，转移学习本质上是指在一个数据集上训练模型，然后调整该模型以便在不同数据集上实现NLP的功能。
在本文中，我列出了当今最常用的 NLP 库，并对其进行简要说明。它们在不同的用例中都有特定的优势和劣势，因此它们都可以作为专门从事 NLP 的优秀数据科学家备选方案。每个库的描述都是从它们的 GitHub 中提取的。
大数据文摘作品，转载要求见文末 编译 | 宁云州 大家好呀，又到了本周的AI大事件时间了。过去的一周中AI圈都发生了什么？大佬们互撕了哪些问题？研究者们发布了哪些值得一读的论文？又有哪些开源的代码和数据库可以使用了？ 了解过去一周AI爆点，一篇就够啦！ 新闻 IBM和MIT成立联合人工智能研究实验室 来源：NEWS.MIT.EDU IBM计划投资240万元，与MIT联合创建一个能工作十年的、叫作MIT-IBM沃森的人工智能实验室。实验室主要进行基本的人工智能研究。 prowler.io在AI决策领域抢到了
每天给你送来NLP技术干货！ ---- 排版：AI算法小喵 1. Take-Away 笔者使用 PyTorch 编写了不同加速库在 ImageNet 上的使用示例（单机多卡）。需要的同学可以当作 quickstart 将所需要的部分 copy 到自己的项目中（Github 请点击下面链接）： nn.DataParallel[1] 简单方便的 nn.DataParallel torch.distributed[2] 使用 torch.distributed 加速并行训练 torch.multiprocessi
[ 导读 ]近两年来，ELMO、BERT等预训练语言模型（PLM）在多项任务中刷新了榜单，引起了学术界和工业界的大量关注。
简要介绍在PyTorch中加速深度学习模型训练的一些最小改动、影响最大的方法。我既喜欢效率又喜欢ML，所以我想我也可以把它写下来。
今天学习的是 AllenNLP 和华盛顿大学 2018 年的论文《Deep contextualized word representations》，是 NAACL 2018 best paper。
指代消解是自然语言处理的一大任务之一，它是信息抽取不可或缺的组成部分。在信息抽取中，由于用户关心的事件和实体间语义关系往往散布于文本的不同位置，其中涉及到的实体通常可以有多种不同的表达方式，例如某个语义关系中的实体可能是以代词形式出现的，为了更准确且没有遗漏地从文本中抽取相关信息，必须要对文章中的指代现象进行消解。指代消解不但在信息抽取中起着重要的作用，而且在机器翻译、文本摘要和问答系统等应用中也极为关键。
PyTorch 1.6 nightly增加了一个子模块 amp ，支持自动混合精度训练。值得期待。来看看性能如何，相比Nvidia Apex 有哪些优势？
过去十年间，仅靠简单的神经网络计算，以及大规模的训练数据支持，自然语言处理领域取得了相当大的突破，由此训练得到的预训练语言模型，如BERT、GPT-3等模型都提供了强大的通用语言理解、生成和推理能力。
另外对于入门小白，我强烈推荐这篇Elasticsearch搭建教程给你，小白会碰到的坑，这里都已经写了答案。
作者：TurboNLP，腾讯 TEG 后台工程师 导语 NLP 任务（序列标注、分类、句子关系判断、生成式）训练时，通常使用机器学习框架 Pytorch 或 Tensorflow，在其之上定义模型以及自定义模型的数据预处理，这种方式很难做到模型沉淀、复用和共享，而对于模型上线同样也面临：上线难、延迟高、成本高等问题，TEG-AI 平台部-搜索业务中心从 2019 年底开始，前期经过大量调研，在 AllenNLP 基础上自研了推理及训练一体化工具 TurboNLP， 涵盖了训练框架 TurboNLP-
来源：计算机视觉与机器学习作者丨Jay Alammar 链接丨https://jalammar.github.io/illustrated-bert/本文约4600字，建议阅读8分钟本文中，我们将研究BERT模型，理解它的工作原理，对于其他领域的同学也具有很大的参考价值。 自google在2018年10月底公布BERT在11项nlp任务中的卓越表现后，BERT 就在 NLP 领域大火，在本文中，我们将研究BERT模型，理解它的工作原理，对于其他领域的同学也具有很大的参考价值。 前言 2018年可谓是自然语
深度学习模型已被证明可以通过增加数据和参数来改善。即使使用175B参数的Open AI最新GPT-3模型，随着参数数量的增加，我们仍未看到模型达到平稳状态。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
