成语接龙很有意思，原本计划找一些成语语料自己做一个，不过Google一圈后发现Github上有一个现成的项目：IdiomsSolitaire
自从把腾讯词向量对接到AINLP公众号后台后，发现相似词相关的查询需求是逐渐增大的，已经不止一次有非CS专业的同学通过后台查询相似词或者相似度来做课程设计，这让我觉得这个事情有一些意义，当然，通过微信（公众号）后台快速查询相似词（同义词、近义词、反义词）这个需求应该是更普遍的，欢迎推荐给有需求的朋友。关于词向量、相似词、相似度、词语加减，这里写了一些文章：
上一篇文章《腾讯词向量实战：通过Annoy进行索引和快速查询》结束后，觉得可以通过Annoy做一点有趣的事，把“词类比(Word Analogy)”操作放到线上，作为AINLP公众号聊天机器人的新技能，毕竟这是word2vec，或者词向量中很有意思的一个特性，刚好，Annoy也提供了一个基于vector进行近似最近邻查询的接口： get_nns_by_vector(v, n, search_k=-1, include_distances=False) same but query by vector v.
我想这个功能AINLP双语聊天机器人无名可以有啊，虽然还做不到高级的个性化，但是最简单的起码是可以做到的，所以说干就干，用一行Python代码实现了这个功能： print(random.choice(zan_list))
项目地址，阅读原文可以直达，欢迎参与和Star： https://github.com/RandyPen/TextCluster 这个项目的作者是AINLP交流群里的昭鸣同学，该项目开源了一个短文本聚类工具，内存友好，速度不错，还不用尝试隐变量个数，欢迎使用。
周末闲来无事，给AINLP公众号聊天机器人加了一个技能点：中文相似词查询功能，基于腾讯 AI Lab 之前公布的一个大规模的中文词向量，例如在公众号对话窗口输入"相似词 自然语言处理"，会得到：自然语言理解、计算机视觉、自然语言处理技术、深度学习、机器学习、图像识别、语义理解、语音识别、自然语言识别、语义分析；输入"相似词 文本挖掘"，会得到：数据挖掘、文本分析、文本数据、自然语言分析、语义分析、文本分类、信息抽取、数据挖掘算法、语义搜索、文本挖掘技术。如下图所示：
BERT最近太火，蹭个热点，整理一下相关的资源，包括Paper, 代码和文章解读。
最近对自然语言生成或者文本自动生成技术比较感兴趣，做了一些调研，作为自然语言处理领域的难题之一，个人一直觉得自然语言生成（NLG）是最难的，虽然这一两年动辄会看机器模仿莎士比亚写剧本，模仿金庸写小说，这些不过是媒体用来吸引眼球的，总之这些字凑到一起看起来像模像样，但是读了之后不知所云。不过对于特定格式的文本，类似诗歌这种，如果不细究，从直观的角度来看确实还有点像那么回事，例如清华大学自然语言处理与社会人文计算实验室开发的九歌计算机诗词创作系统，还是很强大的：
这个项目的作者是AINLP交流群里的慢时光同学，该项目收集了NLP相关的一些代码, 包括词向量(Word Embedding)、命名实体识别(NER)、文本分类(Text Classificatin)、文本生成、文本相似性(Text Similarity)计算等，基于keras和tensorflow，也收集了相关的书目、论文、博文、算法、项目资源链接，并且很细致的做了分类。
盼望着，盼望着，春节就要来了，今年春节有什么值得期待的事情么？不如趁着爸妈还没来得及催婚催生之前，先好好在家里表现一番。
各方面都很好，但是总感觉哪里有点欠缺，后来想想，可能是作者做得太好了，把数据预处理都做得好好的，所以你才能“20行搞定情感分析”，这可能也是学习其他深度学习工具过程中要面临的一个问题，很多工具都提供了预处理好的数据，导致学习过程中只需要调用相关接口即可。不过在实际工作中，数据的预处理是非常重要的，从数据获取，到数据清洗，再到基本的数据处理，例如中文需要分词，英文需要Tokenize, Truecase或者Lowercase等，还有去停用词等等，在将数据“喂”给工具之前，有很多事情要做。这个部分，貌似是当前一些教程有所欠缺的地方，所以才有了这个“从零开始做”的想法和系列，准备弥补一下这个缺失，第一个例子就拿《Python深度学习》这本书第一个文本挖掘例子练手：电影评论文本分类-二分类问题，这也可以归结为一个情感分析任务。
继续中文分词在线PK之旅，上文《五款中文分词工具在线PK: Jieba, SnowNLP, PkuSeg, THULAC, HanLP》我们选择了5个中文分词开源工具，这次再追加3个，分别是FoolNLTK、哈工大LTP(pyltp, ltp的python封装）、斯坦福大学的CoreNLP（stanfordcorenlp is a Python wrapper for Stanford CoreNLP），现在可以在AINLP公众号测试一下：中文分词 我爱自然语言处理
上周《玩转腾讯词向量：词语相似度计算和在线查询》推出后，有同学提到了annoy，我其实并没有用annoy，不过对annoy很感兴趣，所以决定用annoy试一下腾讯 AI Lab 词向量。
https://github.com/lonePatient/daguan_2019_rank9
前段时间有朋友询问说NLP领域如何学习，然而一直忙于毕业论文中实在没有时间，两年半真的实在太难受了。昨天刚交了盲审，祈祷顺利毕业呀。
西湖大学在 EMNLP 2019 上提出了一种序列标注模型，在比 BiLSTM-CRF 训练解码速度更快的情况下，取得了更高的精度。
导读：在上一章节介绍在Python环境下调用HanLP包进行分词的基础上，本文将介绍如何使用wordcloud绘制词云。尽管目前市面上已经有很多成熟的在线交互词云工具，但是考虑到实际工作中有很多内容是具有保密性的，无法直接在互联网上公开。因此，如何在本地搭建词云平台，自定义地绘制词云显得格外重要。
众所周知，斯坦福大学自然语言处理组出品了一系列NLP工具包，但是大多数都是用Java写得，对于Python用户不是很友好。几年前我曾基于斯坦福Java工具包和NLTK写过一个简单的中文分词接口：Python自然语言处理实践: 在NLTK中使用斯坦福中文分词器，不过用起来也不是很方便。深度学习自然语言处理时代，斯坦福大学自然语言处理组开发了一个纯Python版本的深度学习NLP工具包：Stanza - A Python NLP Library for Many Human Languages，前段时间，Stanza v1.0.0 版本正式发布，算是一个里程碑：
Chinese version of GPT2 training code, using BERT tokenizer.
推荐一个Github项目：ChineseNLPCorpus，该项目收集了一批中文自然语言处理数据集的相关链接，可以用来练手，点击阅读原文可以直达该项目链接：
上一篇【论文】Awesome Relation Extraction Paper（关系抽取）（PART I）介绍了一些关系抽取和关系分类方面的经典论文，主要是以CNN模型为主，今天我们来看看其他模型的表现吧~
之前做过的百度今年的语言与智能技术竞赛，其中有一个子赛道就是关于信息抽取。信息抽取（Information Extraction）是指从非结构化的自然语言文本中抽取出实体、属性、关系等三元组信息，是构建知识图谱的基础技术之一。IE的子任务大概有以下几种：
这里说的是实体识别，马上想到的就是利用分步走解决：先去对文章进行实体识别，然后对提取出来的实体进行情感分类。但是后来一想这样两步的话会使得最终结果的错误率叠加，也就是说第一步做的不好的话会很大程度影响到第二步的结果。其实仔细看一下数据集会发现，它给出的很多样本实体并不是传统实体识别的实体，而是句子中的某一个token。这就跟SemEval2014的subtask 4非常像了，也就是Aspect Based Sentiment Analysis (ABSA)。不说废话了，接下来我们来看看关于ABSA问题都有哪些常用的算法。
这篇文章事实上整合了之前文章的相关介绍，同时添加一些其他的Python中文分词相关资源，甚至非Python的中文分词工具，仅供参考。
近期，由卡耐基梅隆大学和谷歌大脑提出的全新 XLNet 在 20 个任务上超过了 BERT 的表现，而且还开放了源码，今天我们来讨论一下这篇论文。
之前整理过一篇关于信息提取的笔记，也是基于大名鼎鼎的 SLP 第 18 章的内容，最近在做一个 chatbot 的 NLMLayer 时涉及到了不少知识图谱有关的技术，由于 NLMLayer 默认的输入是 NLU 的 output，所以实体识别（包括实体和类别）已经自动完成了。接下来最重要的就是实体属性和关系提取了，所以这里就针对这块内容做一个整理。
最近在看的主要是跟知识相关的一些东西，包括回顾了一些知识表示模型呀，一些大规模的语言模型如何锦上添花融入外部知识的方法呀，如果你感兴趣的话可以直接去之前几篇文章里面瞄一眼。今天就以 知识 为切入点来更深入地剖析一下最近比较火的预训练模型。
众所周知，中文NLP领域缺乏高质量的中文语料。作者徐亮（实在智能算法专家) 创建了一个中文自然语言处理语料库项目：nlp_chinese_corpus ，初步贡献了几个已经预处理好的中文语料，包括维基、新闻和百科语料。希望大家一起为该项目贡献语料，感兴趣的同学可以直接关注该项目github地址，和作者直接联系，点击文末"阅读原文"直达github链接，可下载相关语料：
于是提出了一种解决ABSA问题的多粒度注意力网络（Multi-grained Attention Network， MGAN），主要的改进有：
上篇博客理了一下一些知识表示学习模型，那今天我们来看目前最流行的BERT模型加上外部知识这个buff后到底会有怎么样的发展。其实这个思路在之前就有出现过比较有意思且高效的工作，像百度的ERNIE和ERNIE2.0 以及清华的ERNIE，这些工作的介绍可以参考站在BERT肩膀上的NLP新秀们（PART I）。
之前发在知乎、AINLP以及CSDN上的预训练模型系列文章，最近打算整理到公号上。另外欢迎大家左下角阅读原文关注我的知乎专栏：【BERT巨人肩膀】
NLP：自然语言处理（NLP）是信息时代最重要的技术之一。理解复杂的语言也是人工智能的重要组成部分。而自google在2018年10月底公布BERT在11项nlp任务中的卓越表后，BERT（Bidirectional Encoder Representation from Transformers)就成为NLP一枝独秀，本文将为大家层层剖析bert。
其实实体识别这块看了挺久了的，今天就来好好聊一聊它。实体识别(Name Entity Recognition)是属于NLP任务中的序列标注问题：给定一个输入句子，要求为句子中的每一个token做实体标注（如人名、组织/机构、地名、日期等等）。
谷歌ALBERT论文刚刚出炉一周，中文预训练ALBERT模型来了，感兴趣的同学可以直接尝鲜试用。
为鼓励参与腾讯云自媒体分享计划的作者产出更多优质内容，为自媒体计划注入更多的新鲜力量。云+社区将试运行自媒体作者月度评奖活动（以下简称活动）。
无监督文本的深度神经网络的出现，nlp领域又火了起来，深度神经网络大大提升了nlp任务的效果。虽然早期的网络也是基于上下文进行的向量建模，但是由于单向信息流的弊端，效果上始终难以大幅度提升。Transformer中的多层self-attention的出现，推进了深度网络的发展。Google提出的BERT模型，通过掩盖的term，利用多层的self-attention的双向建模能力，横扫了NLP比赛的各大排行榜。
Pre-train language model 风头正盛，以 BERT 为代表的模型也在各个任务上屠榜，有一统天下的趋势。知乎上也有不少文章对 BERT 的原理、应用做分析和总结的，例如张俊林老师的一系列文章对 BERT 和 Transformer 的解读就很有深度。但看别人写和自己读文章梳理一遍的效果是天差地别的，因此，我也尝试着把最近读的一些关于 Pre-train Language Model 的文章做一次整理。
2018年是NLP的收获大年，模型预训练技术终于被批量成功应用于多项NLP任务。之前搞NLP的人一直羡慕搞CV的人，在ImageNet上训练好的模型，居然拿到各种任务里用都非常有效。现在情形有点逆转了。搞CV的人开始羡慕搞NLP的人了。CV界用的还是在有监督数据上训练出来的模型，而NLP那帮家伙居然直接搞出了在无监督数据上的通用预训练模型！要知道NLP中最不缺的就是无监督的文本数据，几乎就是要多少有多少。还有个好消息是目前NLP中通用预训练模型的效果还远没达到极限。目前发现只要使用更多的无监督数据训练模型，模型效果就会更优。这种简单粗暴的优化方法对大公司来说实在再经济不过。而且，算法本身的效果也在快速迭代中。NLP的未来真是一片光明啊～
CoreNLP 项目是Stanford开发的一套开源的NLP系统。包括tokenize, pos , parse 等功能，与SpaCy类似。SpaCy号称是目前最快的NLP系统， 并且提供现成的python接口，但不足之处就是目前还不支持中文处理， CoreNLP则包含了中文模型，可以直接用于处理中文， 但CoreNLP使用Java开发，python调用稍微麻烦一点。
前几天看了大快的举办的大数据论坛峰会的现场直播，惊喜的是hanlp2.0版本发布。Hanlp2.0版本将会支持任意多的语种，感觉还是挺好的！不过更多关于hanlp2.0的信息，可能还需要过一段时间才能看到，只能等一下了！下面分享一篇大神的文章，是关于在ubuntu下使用pycharm调用hanlp的实验。
(深入浅出Stanford NLP 基础篇) 本文主要介绍Stanford NLP工具的基本使用方法。
自然语言处理（NLP）是人工智能（AI）的一个分支，使计算机能够像人类一样理解书面或口头语言。 在这个 AI 革命时代，NLP 具有多样化的应用。 在本教程中，我们将探讨 Java 中不同的 NLP 库，以及如何使用 Apache OpenNLP 和 Stanford CoreNLP 实现一些 NLP 任务。
中科院汉语分词系统是一个非常好用的分词工具，和结巴分词类似，但是比结巴分词功能更加强大，而且更加个性化。
Hanlp作为一款重要的分词工具，本月初的时候看到大快搜索发布了hanlp的1.7版本，新增了文本聚类、流水线分词等功能。关于hanlp1.7版本的新功能，后面有使用的到时候在给大家分享。本篇分享一个在python里调用hanlp分词包的过程文章，供需要的朋友参考学习交流！以下为文章内容：
ShowMeAI为斯坦福CS224n《自然语言处理与深度学习(Natural Language Processing with Deep Learning)》课程的全部课件，做了中文翻译和注释，并制作成了GIF动图！视频和课件等资料的获取方式见文末。
AI 科技评论按，近日，斯坦福大学发布了一款用于 NLP 的 Python 官方库，这个库可以适用于多种语言，其地址是：
本篇分享的依然是关于hanlp的分词使用，文章内容分享自 gladosAI 的博客，本篇文章中提出了一个问题，hanlp分词影响了实验判断结果。为何会如此，不妨一起学习一下 gladosAI 的这篇文章。
作者：TurboNLP，腾讯 TEG 后台工程师 导语 NLP 任务（序列标注、分类、句子关系判断、生成式）训练时，通常使用机器学习框架 Pytorch 或 Tensorflow，在其之上定义模型以及自定义模型的数据预处理，这种方式很难做到模型沉淀、复用和共享，而对于模型上线同样也面临：上线难、延迟高、成本高等问题，TEG-AI 平台部-搜索业务中心从 2019 年底开始，前期经过大量调研，在 AllenNLP 基础上自研了推理及训练一体化工具 TurboNLP， 涵盖了训练框架 TurboNLP-
pyhanlp的github：https://github.com/hankcs/pyhanlp
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
