今天要分享的这篇论文来自NAACL2019，主要利用inside-outside算法推理出给定句子的句法树，不需要任何的监督，也不需要下游任务作为目标函数，只需要masked语言模型就行了。...本文中只讨论二叉树，所以预先将句法树进行了二叉化。 对于短语 ? ，定义它的inside向量为 ? ，outside向量为 ? ，inside分数为 ?...解码过程 预测阶段要解码出句法树，这就很简单了，用的是传统的CKY算法，只需要使用到inside得分 ? 就行了，下面是伪代码： ?...WSJ-10和WSJ-40结果 这里为了和之前的论文统一，没有进行二叉化，所以预测出来的句法树F1值有个上限，就是上表中的UB值。...无监督短语分割 这个任务就是看模型识别出了句子中有多少个短语，其实包含在刚刚的句法树结构中了。数据集还是用的PTB，结果如下： ?
也就是说，粗表中的每一棵句法树都给出了它在原始表中的句法树的分数的上界，通俗说就是，如果把粗表中的收缩符号全部替换成原始表中的符号，那么新的句法树的分数一定会小于等于粗表中的句法树。...引理 如果粗表中的最优句法树 ? 不包含任意收缩符号，那么它等价于原始表中的最优句法树。 证明： 令 ? 等于原始表中的句法树集合， ?...等于没有出现在粗表中，但是出现在原始表中的句法树集合， ? 等于粗表中的句法树集合。 那么对于每一个句法树 ? ，都存在唯一的句法树 ? 与之对应。所以可以推出： ?...也是原始表中的最优句法树。 伪代码 ? ? 初始化为句法树的最优得分或者负无穷，其中det()用来求解句法树的最优得分，但是没有必要真的求出最优句法树，只需要在每个结点处保留得分最高的边即可。...否则的话求出后面k-1棵最优的句法树，如果都不包含收缩符号，直接返回k-best棵句法树。否则从中选出最好的一棵含有收缩符号的句法树，下面的步骤和1-best一样。
本文记录自然语言基础技术之语义角色标注学习过程，包括定义、常见方法、例子、以及相关评测，最后推荐python实战利器，并且包括工具的用法。...常见方法 语义角色标注的研究热点包括基于成分句法树的语义角色标注和基于依存句法树的语义角色标注。同时，根据谓词的词性不同，又可进一步分为动词性谓词和名词性谓词语义角色标注。...例子 以基于成分句法树的语义角色标注为例，任务的解决思路是以句法树的成分为单元，判断其是否担当给定谓词的语义角色： 角色剪枝：通过制定一些启发式规则，过滤掉那些不可能担当角色的成分。...CoNLL 2009：http://ufal.mff.cuni.cz/conll2009-st/task-description.html 工具推荐 Nlpnet 一个基于神经网络的自然语言处理任务的Python...setup.py build # 然后执行命令：python setup.py install # 使用里面的预训练模型，需要先下载，然后指定相应目录 # 下载地址：http://ltp.ai/
今天趁周末分享一下自己发在今年ACL上的这篇工作，主要贡献就是提出了一种新颖的成分句法树的序列表示方法。建议配合我的PPT阅读，里面有很多例子。...例如预测句法树的括号表达式，然后还原成句法树，这种方法效果非常差，因为很难解决括号匹配合法性的问题，模型很难学。...如果有一个办法能让成分句法树表示成依存树那样就好了！于是我这个idea就逐渐成型了，虽然最后并没有用上GNN。...同时可以证明，满足如上两个条件的任意非负整数序列都可以唯一还原成一棵句法树。序列化和反序列化伪代码如下： ?...归一化方法比较 和全局归一化模型（CKY算法）相比，他们优化的是整棵句法树span得分之和，而我们优化的是所有的左孩子得分之和。
这些模型产生的句法树的平均深度比PTB数据集的平均深度浅。 介绍 最近有很多工作都是利用Tree-RNN来生成句子的隐式句法树，然后利用下游任务来提供监督，这样就不需要句法树的标注了。...这篇论文分析了四个问题： 隐式句法树提升下游任务性能的程度。 隐式句法树模型对于不同的随机初始化，能学到相似句法树的程度。 模型学到的语法和PTB语法相似的程度。...，直接根据正确句法树转移。...这说明了隐式句法树的学习对句子的理解的确有帮助，不管它学到的句法树有没有实际上的意义。...尽管上面所有模型都没有达到SOTA，但是也很接近了，说明隐式句法树学习的确有效果，还是值得我们去分析的。 结论：隐式句法树对句子理解的确有帮助。 这些模型得出的句法树结果一致吗？ ?
但是稍稍修改就可以改为判别模型，也就是大家熟悉的基于转移的成分句法分析系统，并且转移系统是采用top-down方法的，也就是利用了句法树的前序遍历。...转移序列 因为一棵句法树的前序遍历是唯一的，所以不管用判别式模型还是生成式模型，得到的动作序列也都是唯一的。对于句子 ? 和句法树 ? ，记生成式模型动作序列为 ?...这里要提到的一点是，判别式模型就是每一个状态直接贪心argmax找到概率最大的动作，然后生成句法树。...而生成式模型是利用判别式模型采样出100个概率比较高的句法树，然后用生成式模型计算它们的联合概率，重排序选择概率最高的句法树。 语言模型方面，结果要比最好结果高了一点。...总结 RNNG这个文法是个生成式模型，建模了句子和句法树的联合分布，稍稍修改即可应用到句法分析和语言模型中，效果也非常的好。
个叶子结点的不含有一元产生式的句法树集合。句法分析的任务就是将输入句子 ? 映射到句法树 ? 。 为了将句法分析转化为序列标注任务，需要定义一个树的序列化方法： ?...个叶子结点的句法树转化为长度为 ? 的序列。...并且该映射函数还得满足一定的条件，首先它一定得是一个函数（也就是对于所有的句法树，都得找到一个对应的序列），然后这个函数还得有单射性（也就是句法树和序列要一一对应，不能存在两个句法树对应同一个序列，否则的话预测出来一个序列可能解码出两棵句法树...理论证明 主要证明两个性质，一个就是充分性（即每个句法树都能映射为一个序列），另一个就是单射性（即每个序列只能唯一对应一个句法树）。...结论与展望 这篇论文定义了一种新的句法树序列化方法，将句法树序列化为长度减1的序列，其中每个值就是相邻两个单词的CA个数和LCA的label。
同时可以无监督的预测出句子的句法树，并且相比于一般的Transformer，语言模型的性能有所提高。 模型结构 ?...上图是句法树解码算法，类似于句法距离那篇论文的解码算法。因为 ? 表示的是相邻两个单词属于同一个短语的概率，所以首先找最小的 ? ，然后从这里将短语划分为两个子短语，然后递归划分下去。...并且提出了一种解码出句法树的算法，但是还存在着一些问题。...文中说尝试过用Transformer预训练Tree Transformer，这样loss下降的更低了，拟合的更好，但是解码出的句法树效果更差了。...这其实是有道理的，之前见过一篇分析论文，提到了语言模型训练的好，并不一定代表着句法树学的好，这两者不能划等号。所以今后如何选择更好更合适的损失函数，值得研究。
然后就是采样了，推理网络的目的就是计算出句法树的概率分布，然后根据这个分布采样出若干个句法树，那么现在给定一棵句法树可以根据上面的算法计算出它的概率了，那怎么采样呢？...最后推理网络采样出了若干个句法树 z，然后根据 CRF 计算出每个句法树的概率 ，后面的事情就交给生成网络了。...上面的推理网络采样出了若干个句法树 z，生成网络的目的就是计算它的联合概率 。...Variational Inference 句子 x 的对数概率定义为： 其中 是所有合法句法树的集合，但是这里不可能穷举所有的句法树，所以就要用到变分推理，具体的理论知识不仔细介绍了...结论 和之前两篇语言模型做无监督成分句法分析类似，这篇论文用推理网络学习句法树的概率分布并采样句法树，再用生成网络计算这些句法树和句子的联合概率，最后用变分推理最大化句子的概率，也就是学习出一个好的语言模型
基于转移系统的句法分析模型主要通过预测生成句法树的动作序列来还原出一棵句法树。...也可以应用到其他基础任务中去，比如可以将训练好的成分句法树根据规则转化为依存句法树，从而提升依存句法分析的准确率（Gildea04）。...基于序列到序列的解码算法 前面几个章节都是将句法树视为若干跨度的集合，并预测这个集合，最后还原出句法树。...这个章节将要介绍的方法都是基于序列的，也就是将句法树序列化，通过预测句法树对应的序列，然后还原出句法树。 基于括号表达式 ?...可以证明，括号表达式和句法树是一一对应的，所以只要预测出了括号表达式，就可以唯一映射到一棵句法树。
二可以无监督学习出句子的句法树（如果融入的是句法结构信息的话）。 下面就给大家简要分享几篇融入了结构信息的编码器的论文。...至于这个 attention ，有没有句法树监督都是可以的，实际上没有句法树监督的话对语言模型效果更好。...最后要想解码句法树的话，就还是用句法距离的算法，自顶向下解码句法树。...这篇论文思想也不复杂，论文目的是要设计一个能够编码句法树的网络，最终得到句子的向量表示，来给下游任务用。...的顺序生成出一棵句法树。
主要思想是通过预测一个实值向量来构造出成分句法树，该实值向量表示的就是成分句法树的所有split，并且按照中序遍历给出，具体细节之后会讲到。...这样就可以将一棵句法树唯一对应到一个句法距离的序列，只要预测这个序列就可以得到句法树了，这比预测span集合更加直接。 那么训练的时候如何将句法树转化为句法距离呢？...那么如果得到了一棵句法树的三元组 ? ，如何还原出这棵句法树呢？算法2给出了构造方法，其实类似于之前那篇论文的top-down方法。 ? 原理很简单，只要在每一步寻找 ?...上图是构造句法树的一个例子，和之前一样，通过 ? 的label隐式的将句法树二叉化了，一元还是处理成新的label。图中的矩形高度就代表了句法距离的大小，可以看出，除了 ?...最大，所以句法树的split就是 ? 和 ? ，然后对右子树递归分析。 在子树递归过程中，可以并行计算，理论上时间复杂度可以降到 ?
推理出隐变量也就是句法树 ? 的概率分布 ? 。右边是一个生成模型（Generative Model），用来计算从推理网络中采样出来的句法树 ? 的联合概率 ?...然后就是采样了，推理网络目的就是计算出句法树的概率分布，然后根据这个分布采样出若干个句法树，那么现在给定一棵句法树可以根据上面的算法计算出它的概率了，那怎么采样呢？...最后推理网络采样出了若干个句法树 ? ，然后根据CRF计算出每个句法树的概率 ? ，后面的事情就交给生成网络了。 Generative Model ?...是所有合法句法树的集合，但是这里不可能穷举所有的句法树，所以就要用到变分推理，具体的理论知识不仔细介绍了，可以去查阅变分推理相关知识，下面直接推导。 ? 其中最后一行叫做先验 ?...结论 和之前两篇语言模型做无监督成分句法分析类似，这篇论文用推理网络学习句法树的概率分布并采样句法树，再用生成网络计算这些句法树和句子的联合概率，最后用变分推理最大化句子的概率，也就是学习出一个好的语言模型
02 例子 以基于成分句法树的语义角色标注为例，任务的解决思路是以句法树的成分为单元，判断其是否担当给定谓词的语义角色： 角色剪枝：通过制定一些启发式规则，过滤掉那些不可能担当角色的成分。...2009： http://ufal.mff.cuni.cz/conll2009-st/task-description.html 04 工具推荐 Nlpnet 一个基于神经网络的自然语言处理任务的 Python
12.2 依存句法树 不同于短语结构树，依存句法树并不关注如何生成句子这种宏大的命题。依存句法树关注的是句子中词语之间的语法联系，并且将其约束为树形结构。...可视化工具可以帮助我们理解句法树的结构，比较句子之间的不同。...如果为完全图中的每条边是否属于句法树的可能性打分，然后就可以利用 Prim 之类的算法找出最大生成树( MST )作为依存句法树了。...如此，我们将一棵依存句法树的构建过程表示为两个动作。如果机器学习模型能够根据句子的某些特征准确地预测这些动作，那么计算机就能够根据这些动作拼装出正确的依存句法树了。...然而依存句法树库是一棵树，并不是现成的转移动作序列。这时候就需要一个算法将语料库中的依存句法树转移为正确地转移动作序列。 这里可以使用感知机进行训练得到转移动作序列，原理详见: 5.
本文第一次同时比较了分别基于预训练模型和句法解析器生成的依存句法树在ABSA上的性能，结果显示：FT-RoBERTa (finetune RoBERTa)要好于通过句法解析器生成的句法结构信息。...通过实验分析进一步发现 FT-RoBERTa 生成的句法树更加以情感词为导向，非常有利于ABSA任务。最终在实验上达到了SOTA或者近似SOTA的性能。 具体介绍 如何通过预训练模型生成句法树？...本文使用的是Perturbed Masking (港大和华为ACL20提出)来利用预训练模型生成句法树。...；然后mask掉token j，也会返回一个表示token i和j的词表示 ，那么j对于i的影响度公式计算为： 重复上述操作，会得到一个每一对token的影响度的矩阵，那么就可以通过这个矩阵获取句法树
就有了下面的发展） c.由词性标注生成短语句法树（从整个句子分析） ? 短语句法树的计算机表示 ?...短语句法树的逻辑表示 d.由短语句法树转成依存树（依存关系可以用树形图表示，表示依存关系的树形图称为依存树dependency tree） 三个工具 由短语句法树转到依存树一般可用这三个工具，顺便有链接
摘要 基于转移的成分句法分析主要分为两种：一种是自顶向下（top-down）的方法，按照前序遍历（pre-order）的顺序生成句法树。...本文的模型就对这两种方法进行了改进，采用中序遍历（in-order）的顺序来生成句法树。单模型最终取得了91.8的F1值（貌似也不是特别高？）...a图是未经二叉化的句法树，b图是二叉化之后的句法树，二叉化之后的结点要用l和r来区分头结点。其实不二叉化也是可以的，伯克利一帮人的做法就是用 ? 来作为临时结点，构造树的时候去掉就行了。...上面那个句法树按照该模型分析的话过程如下： ?...中序遍历就是采用这种思想的，例如对于之前那棵句法树，算法产生结点的顺序为3、2、4、5、1、7、6、9、8、10。 句法分析系统如下： ?
阅读大概需要8分钟 主讲：余南 整理：甄冉冉 导师：付国宏 张梅山 出自：黑龙江大学自然语言处理实验室周末讨论班 以下图片，来自于余南师兄 什么是依存句法树 依存句法树就是表示一个句子中词与词之间的依存关系...但是注意，依存句法树是不允许弧之间有交叉或者回路！ 依存句法树数据表示 依存句法树的文本表示格式为conll格式，如表 ? 根据该表的父亲节点索引和对应的弧上关系就能还原该依存句法树。...依存句法树的用途 我们通常将依存句法的特征融入到其他任务模型里，比如机器翻译、意见挖掘、语篇分析等，一般能得到更好的性能。 那怎么得到依存句法特征呢？...通常有两种方法： 将依存句法树喂给递归神经网络，得到的隐层表示可以作为该依存句法的特征表示。 将依存句法树交给特征模板，从而得到该依存句法的特征表示。...用在生成依存句法树上，则具体表示为从空状态开始，通过动作转移到下一个状态，一步一步生成依存句法树，最后的状态保存了一个完整的依存树。依存分析就是用来预测词与词之间的关系，现在转为预测动作序列。
如果没有句法信息监督也不要紧，模型可以无监督预测出句法树。 模型 span attention 模型中的attention是怎么做的呢？在 时刻，模型关注以 结尾的所有 span 。...生成句法树 这就和以往自顶向下解码句法树的算法一样了，对于 span ，寻找使得右儿子得分最高的 split 即可： 而如果是有监督的话，对于每个位置 ，都会预测一个 attention ，并且有一个...注意这里的 不一定是 one-hot 的，因为在一棵句法树中，一个右端点可能对应着很多不同的左端点。...最终的损失函数为： 而这里的句法树监督其实可以用现成的 parser ，或者直接用左右二叉树之类的就行了，主要目的是为了提升语言模型性能。 下图就是一个简单的例子： ?...这也说明了对语言模型有用的句法信息可能并不符合 PTB 句法树结构。 最后还分析了左结合多还是右结合多： ?
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
