之前做过实体关系抽取/联合抽取等任务，是用LSTM+CRF模型+BIO标注的方法，最近看到有一篇ACL用MRC（Machine Reading Comprehension）的方法去做NER（Named Entity Recognition）任务，以下是对这篇论文的分享。
机器阅读理解，笔者认为他是NLP中最有意思的任务了。机器阅读一份文档之后，可以“理解”其中的内容，并可以回答关于这份文档的问题。听上去，有一种很强的“人工智能”的Feel。
就像Transformer带火了"XX is all you need"的论文起名大法，最近也看到了好多"Unified XX Framework for XX"的paper，毕竟谁不喜欢写好一套框架然后哪里需要哪里搬凸^-^凸。这一章让我们来看下如何把NER的序列标注任务转换成阅读理解任务。论文本身把重点放在新的框架可以更好解决嵌套实体问题，但是实际应用中我碰到Nested NER的情况很少，不过在此之外MRC对小样本场景，以及细粒，层次化实体的识别任务也有一些启发意义，代码详见ChineseNER/mrc
经典的细粒度情感分析（ABSA，Aspect-based Sentiment Analysis）主要包含三个子任务，分别为属性抽取、观点抽取以及属性-观点对的情感倾向判定三个级联任务。
AI科技评论按：从 11 月初开始，google-research 就陆续开源了 BERT 的各个版本。google 此次开源的 BERT 是通过 tensorflow 高级 API—— tf.estimator 进行封装( wrapper )的。因此对于不同数据集的适配，只需要修改代码中的 processor 部分，就能进行代码的训练、交叉验证和测试。
前言： 朋友们好啊，好久不见。最近半年比较忙，因此好久没有更新了。今年3月份，我开始了在MSRA NLC组的研究实习，如今转眼已经过去了9个月。这也是我读博士以来目前压力最大的一段时光，中间也有很多故事，这里暂不赘述，等日后有闲心了再详细分享给大家。 今天想跟大家简单介绍一下我这过去9个月“养”出的一个模型——GENIUS。非常感激MSRA的老师们和我们上财AI实验室的导师们在这期间给予的指导和鼓励，感谢老婆在封城期间操劳家里的一切柴米油盐让我全身心科研，当然还有很多同学给予的帮助，这里就不一一列举啦。
BERT 等预训练语言模型在自然语言理解（Natural Language Understanding, NLU）的许多任务中均表现出了卓越的性能。
从11月初开始，Google Research就陆续开源了BERT的各个版本。Google此次开源的BERT是通过TensorFlow高级API—— tf.estimator进行封装(wrapper)的。因此对于不同数据集的适配，只需要修改代码中的processor部分，就能进行代码的训练、交叉验证和测试。
预训练的视觉语言BERT的目标是学习结合两种模态的表征。在本文中，作者提出了一种基于跨模态输入消融诊断方法（cross-modal input ablation） 来评估这些模型实际上整合跨模态信息的程度。
搜索引擎是人们获取信息的重要途径，其中包含了很多问答型的query。但传统的搜索只能返回TopK的网页，需要用户自己从网页中分析甄别答案，体验较差。原因是传统搜索引擎只是对query和doc做“匹配”，并不是真正细粒度地理解query。智能问答正好可以弥补这个局限，它的优势在于能够更好地分析query，直接返回精准、可靠的答案。
论文名称：Cross-Lingual Machine Reading Comprehension
Author：Shanshan Liu , Xin Zhang , Sheng Zhang , Hui Wang , Weiming Zhang
随着预训练模型的发展，NLP领域从各自任务的单打独斗，逐渐转变为几个主流范式的中原逐鹿，近期风头正盛的prompt learning更是隐隐有一统江湖之势。
命名实体识别（NER, Named Entity Recognition），是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。
Text Span的评估指标： For text-span questions whose answer is string(s), we need to compare the predicted string(s) with the ground truth answer string(s) (i.e., the correct answer). RCstyle QA task generally uses evaluation metrics Exact Match (EM) and F1 score (F1) proposed by Rajpurkar et al. [94] for text-span questions [104, 116]. EM assigns credit 1.0 to questions whose predicted answer is exactly the same as the ground truth answer and 0.0 otherwise, so the computation of EM is the same as the metric Accuracy but for different categories of RC-style QA. F1 measures the average word overlap between the predicted answer and the ground truth answer. These two answers are both considered as bag of words with lower cases and ignored the punctuation and articles “a”, “an” and “the”. For example, the answer “The Question Answering System” is treated as a set of words {question, answering, system}. Therefore, F1 of each text-span question can be computed at word-level by Equation 2.2
还记得不久之前的机器阅读理解领域，微软和阿里在SQuAD上分别以R-Net+和SLQA超过人类，百度在MS MARCO上凭借V-Net霸榜并在BLEU上超过人类。这些网络可以说一个比一个复杂，似乎“如何设计出一个更work的task-specific的网络"变成了NLP领域政治正确的研究方向。而在这种风向下，不管word2vec也好，glove也好，fasttext也好，都只能充当一个锦上添花的作用。说好的迁移学习、预训练呢？在NLP似乎始终没成主角。
中文分词方法现在主要有两种类型，一种是jieba这样软件包中用隐马尔科夫（HMM）模型构建的。
基于微软大规模真实场景数据的阅读理解数据集MS MARCO，美团搜索与NLP中心提出了一种针对该文本检索任务的BERT算法方案DR-BERT，该方案是第一个在官方评测指标MRR@10上突破0.4的模型。
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 人类的活动离不开位置，从空间上可以表征为坐标，从文本上表征为通讯地址。通讯地址广泛存在于电商物流、政府登记、金融交通等领域。对通讯地址的分析、聚合服务已经是一项重要基础服务，支撑着诸多互联网场景，比如地图搜索、电商物流分析等。实际应用中，地址文本存在写法自由、缺省别名多、地域性强等特点，对地址的解析、归一和匹配等都造成困难。针对这些难点，阿里达摩院机器智能技术团队联合CCKS2021大会举办此次地址评测任务。该评测包含2
论文标题：Mengzi: Towards Lightweight yet Ingenious Pre-trained Models for Chinese 论文链接：https://arxiv.org/pdf/2110.06696.pdf 论文代码：https://github.com/Langboat/Mengzi 论文作者：{Zhuosheng Zhang etc.}
先说下感受吧。本人在今年3月1号（周日）投递简历，隔天周一hr就约了周四的面试，结果那天是2面视频技术面+hr面直接走完了，周五内推的学长就告诉我过了，紧接着就是offer call。整体投递+面试+发录用通知函的时间不到一周，而且面试官都是和简历对口的，整体体验非常棒。
每天给你送来NLP技术干货！ ---- ---- 分享嘉宾：姚婷 腾讯 专家研究员 编辑整理：王惠灵 合肥工业大学 出品平台：DataFunTalk 导读：智能问答是人工智能领域中一个比较受关注的方向，目前广泛应用于各种垂直或综合的搜索引擎、智能客服、智能助手以及智能手机、车载音箱等。本次分享的主题是QQ浏览器搜索中的智能问答技术，主要分为以下几个部分： 1.背景介绍 智能问答在搜索中的应用 搜索中的Top1问答 2.关键技术 搜索问答的技术框架 KBQA：基于知识图谱的问答 DeepQA：基于搜索+机器
大家好，这里是NewBeeNLP。智能问答是人工智能领域中一个比较受关注的方向，目前广泛应用于各种垂直或综合的搜索引擎、智能客服、智能助手以及智能手机、车载音箱等。
在过去一年里，语言模型的研究有了许多突破性的进展， 比如GPT用来生成的句子足够以假乱真[1]；BERT, XLNet, RoBERTa [2,3,4]等等作为特征提取器更是横扫各大NLP榜单。但是，这些模型的参数量也相当惊人，比如BERT-base有一亿零九百万参数，BERT-large的参数量则高达三亿三千万，从而导致模型的运行速度过慢。为了提高模型的运行时间，本文率先提出了一种新的知识蒸馏 (Knowledge Distillation) [5] 方法来对模型进行压缩，从而在不损失太多精度的情况下，节省运行时间和内存。文章发表在EMNLP 2019。
本文主要分享 OPPO 知识图谱建设过程中算法相关的技术挑战和对应的解决方案，主要包括实体分类、实体对齐、信息抽取、实体链接和图谱问答 query 解析等相关算法内容。
单词的先后顺序会影响句子的意思，RNN擅长捕捉序列关系，不过对于翻译来说，句子间的单词数量不是一一对应的。
【1】 Clinical Relation Extraction Using Transformer-based Models 标题：基于Transformer模型的临床关系提取
问答系统（Qusstion Answering System,QA System）在大家的日常生活中随处可见，2014年微软率先推出了小冰智能聊天机器人，直至现在越来越多如siri移动生活助手和智能音箱等的面市，问答作为一种信息获取方式愈发受到大众和厂商的关注和投入。问答系统能够接受用户以自然语言形式描述的提问，并从大量的异构数据中查到或者推理出用户想要的答案。相比传统的信息检索系统，问答系统场景的核心在于用户的信息需求相对比较明确，而系统直接输出用户想要的答案，这个答案的形式可能是文档、结构化的表格或者推理加工的自然语言文本。
中文命名实体识别 github：https://github.com/taishan1994/awesome-chinese-ner
多域对话以及开放词典设置使得对话状态追踪标的异常复杂。在本文中，作者充分利用了多种 拷贝机制 来填充槽值。一个槽的填充依赖于以下三种拷贝机制之一：
多模态大语言模型（MLLM）是近年来兴起的一个新的研究热点，它利用强大的大语言模型作为大脑来执行多模态任务。MLLM令人惊讶的新兴能力，如基于图像写故事和无OCR的数学推理，在传统方法中是罕见的，这表明了一条通往人工通用智能的潜在道路。在本文中，追踪多模态大模型最新热点，讨论多模态关键技术以及现有在情绪识别上的应用。
https://github.com/PaddlePaddle/models/tree/v1.5.1/PaddleNLP
本文分享论文『KD-VLP: Improving End-to-End Vision-and-Language Pretraining with Object Knowledge Distillation』，由上科大&Intel&MSRA联合提出基于知识蒸馏的端到端多模态预训练模型《KD-VLP》。
在传统的NLP单模态领域，表示学习的发展已经较为完善，而在多模态领域，由于高质量有标注多模态数据较少，因此人们希望能使用少样本学习甚至零样本学习。最近两年出现了基于Transformer结构的多模态预训练模型，通过海量无标注数据进行预训练，然后使用少量有标注数据进行微调即可。
对于开发者来说，又有一个新的NLP工具箱可以使用了，代号PaddleNLP，目前已开源。
本文介绍的是 ACL 2020 论文《Dice Loss for Data-imbalanced NLP Tasks》，论文作者来自香侬科技、浙江大学。
Pre-train language model 风头正盛，以 BERT 为代表的模型也在各个任务上屠榜，有一统天下的趋势。知乎上也有不少文章对 BERT 的原理、应用做分析和总结的，例如张俊林老师的一系列文章对 BERT 和 Transformer 的解读就很有深度。但看别人写和自己读文章梳理一遍的效果是天差地别的，因此，我也尝试着把最近读的一些关于 Pre-train Language Model 的文章做一次整理。
PaddleNLP是基于飞桨（PaddlePaddle）开发的工业级中文NLP开源工具与预训练模型集，将自然语言处理领域的多种模型用一套共享骨架代码实现，可大大减少开发者在开发过程中的重复工作。PaddleNLP提供依托于百度百亿级大数据的预训练模型，适应全面丰富的 NLP任务，方便开发者灵活插拔尝试多种网络结构，并且让应用最快速达到工业级效果。下面小编就带你一一了解PaddleNLP支持的十大NLP任务和工具。
基于我自己多年来曾经走过的弯路，踩过的坑，这篇文章做一点点小的总结。希望会对刚刚进入NLP领域的同学有所帮助。
哈工大&讯飞提出了一种新的预训练语言模型LERT，该模型结合了三种语言特征，与掩模语言模型一起进行多任务预训练。实验结果显示，LERT算法能够显著提高各种预训练语言模型的性能。
1）、数据库的ODBC配置出现错误，没有配置好，与数据库的连接没有连接好，就会出现这样的问题
1. 《Neural Reading Comprehension And Beyond》
机器之心报道 机器之心编辑部 来自清华大学计算机科学与技术系、中国人民大学信息学院等机构的多位学者深入地研究了预训练模型的历史和发展趋势，并在这篇综述论文中从技术的角度理清了预训练的来龙去脉。 BERT 、GPT 等大规模预训练模型（PTM）近年来取得了巨大成功，成为人工智能领域的一个里程碑。由于复杂的预训练目标和巨大的模型参数，大规模 PTM 可以有效地从大量标记和未标记的数据中获取知识。通过将知识存储到巨大的参数中并对特定任务进行微调，巨大参数中隐式编码的丰富知识可以使各种下游任务受益。现在 AI 社区
这一章我们介绍固定prompt微调LM的相关模型，他们的特点都是针对不同的下游任务设计不同的prompt模板，在微调过程中固定模板对预训练模型进行微调。以下按时间顺序介绍，支持任意NLP任务的T5，针对文本分类的两篇PET和LM-BFF。
本文讲述了现代机器学习的模型，主要由微软数据科学家Anusua Trivedi和数据科学家经理Wee Hyong Tok共同撰写。
机器之心编译 参与：Panda 在实现通用人工智能的道路上，机器阅读理解是一个必须要攻克的难题。针对这一难题，北京大学计算语言学教育部重点实验室与百度的研究者提出了一种能帮助机器更好地从多篇文章中挑选出正确答案的方法。该研究的论文已被将于当地时间 7 月 15-20 日在澳大利亚墨尔本举办的 ACL 2018 会议接收。 机器阅读理解（MRC）是指让计算机具备通过文本数据获取知识和回答问题的能力，人们相信这是构建通用智能体的一个关键步骤（Chen et al., 2016）。MRC 社区近些年来增长迅速。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
