Loading [MathJax]/jax/input/TeX/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >GCN 论文英语表达总结

GCN 论文英语表达总结

作者头像
张凝可
发布于 2020-04-08 09:15:51
发布于 2020-04-08 09:15:51
9100
举报
文章被收录于专栏:技术圈技术圈

!猫在家里看论文,写论文的日子真爽

!我常常自嘲自己的英文写的很像老太太的裹脚布,又臭又长

!主要是将一些GCN的英文表达方式记录下来,收藏起来慢慢学习

!会给出论文题目,还有一些小小的note

-------------------------------------------------------一条开始认真脸的分界线---------------------------------------------------------

Aspect-based Sentiment Classification with Aspect-specific Graph Convolutional Networks

1. To tackle this problem, we propose to build a Graph Convolutional Network (GCN) over the dependency tree of a sentence to exploit syntactical information and word dependencies.

注意over 和 exploit 的使用

2. GCN has a multi-layer architecture, with each layer encoding and updating the representation of nodes in the graph using features of immediate neighbors.

注意multi-layer的使用,

以及用with 的使用

这句话常常需要用来表示多层的GCN

3. Furthermore, following the idea of self-looping in Kipf and Welling (2017), each word is manually set adjacent to itself, i.e. the diagonal values of A are all ones.

Following the idea of …

the diagonal values of A are all ones. 对角线为1的矩阵A

set adjacent to itself 设置自链接

4. Experimental results have indicated that GCN brings benefit to the overall performance by leveraging both syntactical infor- mation and long-range word dependencies.

Bing benefit to

Leverage 可以翻译为利用的意思

5. While attention-based models are promising, they are insufficient to capture syntactical dependencies between context words and the aspect within a sentence.

这里描述了attention-based的缺陷,不能充分地捕捉句子的句法依赖,其实还是由于word与word之间距离远,而 导致的,其实也不能完全这么说吧,self attention 会考虑句内所有word的attention,可能能解决一些远距离的信息丢失问题吧。

While 是尽管

SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS

1. Our contributions are two-fold. Firstly, we introduce a simple and well-behaved layer-wise prop- agation rule for neural network models which operate directly on graphs and show how it can be motivated from a first-order approximation of spectral graph convolutions (Hammond et al., 2011). Secondly, we demonstrate how this form of a graph-based neural network model can be used for fast and scalable semi-supervised classification of nodes in a graph. Experiments on a number of datasets demonstrate that our model compares favorably both in classification accuracy and effi- ciency (measured in wall-clock time) against state-of-the-art methods for semi-supervised learning.

经典GCN是这样来描述

从本质上讲,GCN 是谱图卷积(spectral graph convolution) 的局部一阶近似(localized first-order approximation)。GCN的另一个特点在于其模型规模会随图中边的数量的增长而线性增长。总的来说,GCN 可以用于对局部图结构与节点特征进行编码。

2. Semantic role labeling (SRL)can be informally described as the task of discovering who did what to whom.

之前在任务定义,形式化时常常会用 is formalized as ……或者是 is define as ……problem

其实也可以使用 is described as the task of …..被描述为这样….的任务

GRAPH ATTENTION NETWORKS

1. In its most general formulation, the model allows every node to attend on every other node, dropping all structural information. We inject the graph structure into the mechanism by performing masked attention—we only compute eij for nodes j ∈ Ni, where Ni is some neighborhood of nodei in the graph.

这里介绍了GAT的两种机制,一种是每个节点考虑图中所有节点的影响,这是极端情况,忽略了结构信息。

另外一种则是只考虑节点i领域范围内的节点。

注意表达方式

every node to attend on every other node 来表达节点相互attend的感觉

Drop all structural information. 尤其是drop的使用,这里有比较多normal的词,比如ignore,lose

injectsth into sth by sth 将某种机制,某种结构通过某种方式注入到….

mask attention 这种说法

Neighborhood of node i in the graph

2. By stacking layers in which nodes are able to attend over their neighborhoods’ features, we enable (implicitly) specifying different weights to different nodes in a neighborhood, without requiring any kind of costly matrix operation (such as inversion).

这里的which 是指在stack layers.

nodes are able to attend over their neihborhoods’ features.

specifying different weights to different nodes

Without 的使用

3. However, many interesting tasks involve data that can not be represented in a grid-like structure and that instead lies in an irregular domain.

4. This is the case of 3D meshes, social networks, telecommunication networks, biological networks or brain connectomes. Such data can usually be represented in the form of graphs.

注意表达方式

这段话的常用来的表达的是两种结构

一种是grid-like structure这样的网格结构是可以通过CNN,

还有一种是irregular domain 非规则的,比如社交网络,电信网络等

5. The idea is to compute the hidden representations of each node in the graph, by attending over its neighbors, following a self-attention strategy.

注意表达方式

By attending over its neighbors

Following a self-attention strategy

Attention Guided Graph Convolutional Networks for Relation Extraction

1. However, how to effectively make use of relevant information while ignoring irrelevant information from the dependency trees remains a challenge research question.

注意表达方式

以how to do sth 作为主语

While 的使用,这里的while 表示同时

然而,如何在有效利用相关信息的同时忽略依赖树中的无关信息,仍然是一个具有挑战性的研究问题

remains a challengng research question , 这里的remain用的好,比 is 表达出了这不仅仅是个问题,还是个遗留问题

2. Intuitively, we develop a “soft pruning” strategy that transforms the original dependency tree into a fully connected edge- weighted graph.

注意表达方式

Intuitively

develop a strategy that

3. With the help of dense connections, we are able to train the AGGCN model with a large depth, allowing rich local and non-local de- pendency information to be captured.

这一段描述的是dense connections 对网络的作用,虽然都是表达DC能够训练更深的网络,降低过拟合的风险,但是这个with the help of 用的好啊

With the help of

train model with a large depth 这个就比deeper network要高大上的多

local and no-local dependency information

allow的主语是model, 也更客观

model allow sth to be done.

allowing rich local and non-local dependency information to be captured. 其实这里可以借此衍生出很多改写

GCNs are neural networks that operate directly on graph structures

operate的使用

大体上描述GCNs

4. Opposite direction of a dependency arc is also included, which means Aij = 1 and Aji = 1 if there is an edge going from node i to node j,

otherwise Aij = 0 and Aji = 0.

5. Our model can be understood as a soft-pruning approach that automatically learns how to selectively attend to the relevant sub-structures useful for the relation extraction task

Sth can be understood as a ….approach that

how to selectively attend to the relevant sub-structures useful 这里的attend

6. Instead of using rule-based prun- ing, we develop a “soft pruning” strategy in the attention guided layer, which assigns weights to all edges. These weights can be learned by the model in an end-to-end fashion.

纯碎觉的写的又简单又清晰,我有的时候觉得我写的文像老奶奶的裹脚布,又臭又长。

Syntax-Aware Aspect Level Sentiment Classification with Graph Attention Networks

1. When an aspect term is separated away from its sentiment phrase, it is hard to find the associated sentiment words in a sequence.

描述了为什么我们要将syntax引入到很多nlp任务中,这里指的是apsect-level sentiment classification.

因为通常我们的模型是建立在序列输入上,在序列关系上,有些文本距离一些关键信息距离很远,但是如果将其转换为句法树其实上两者存在直接的关系,这就是为什么要引入syntactic dependencies,因为能从一定程度上降低由于长距离依赖而导致的信息丢失问题。

2. Unlike these previous methods, our approach represents a sentence as a dependency graph instead of a word sequence.

注意表达

其实就是将文本从词序列的结构转换为依赖图的形式

our approach represents A as a B instead of C

我们将A用B来表示而不是用C

3. We employ a multi-layer graph attention network to propagate sentiment features from important syntax neighbourhood words to the aspect target.

注意表达方式

我很喜欢这个propagate的使用方式

employsb to do sth

Propagate the ….from the important syntax neighbourhood words to the aspect target

这句话就很形象地表达了图结构的信息传播方式,沿着图的边将邻居结点的信息聚合起来

Graph Convolution over Pruned Dependency Trees Improves Relation Extraction

1. To resolve these issues, we further apply a Contextualized GCN (C-GCN) model, where the input word vectors are first fed into a bi-directional long short-term memory (LSTM) network to generate contextualized representations, which are then used as h(0) in the original model.

这里解释了C-GCN, 其实C-GCN很好理解,其实就是在word embedding 和 GCN layer之间插一个Bi-LSTM层(有时也被称为contextualized layer), 现将word embedding 过一遍bi-lstm再输入到gin 中对contextualized features 做propagate.

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
(ACL+ICML)2020推荐系统相关论文聚焦
第58届国际计算语言学协会年会(ACL,The Association for Computational Linguistics)将于2020年7月6号-8号线上举行。官网公布了ACL2020的论文收录名单,共计收录778篇论文,本次ACL大会共提交了3429篇论文,长文录取率为25%。作为自然语言处理(NLP)领域的顶会,其中有一些涉及NLP技术的推荐系统论文也会投稿于此。
张小磊
2020/07/10
9290
NAACL 2021 上的图神经网络好文
NAACL 2021 Cross-Task Instance Representation Interactions and Label Dependencies for Joint Informa
致Great
2021/06/29
5710
NeurIPS图表示学习研讨会录取论文揭晓:92篇论文看懂图表示学习
10 月 18 日,2019 中关村论坛平行论坛 ——AI WORLD 2019 世界人工智能峰会在北京启幕。新智元杨静、科大讯飞胡郁、微软王永东、华为王成录、英特尔宋继强、旷视及智源学者孙剑、滴滴叶杰平、AWS 张峥、依图颜水成、地平线黄畅、autowise.ai 黄超等重磅嘉宾中关村论剑,重启充满创新活力的 AI 未来。峰会现场,新智元揭晓 AI Era 创新大奖,并重磅发布 AI 开放创新平台和献礼新书《智周万物:人工智能改变中国》。回放链接:
新智元
2019/10/23
1.6K0
BERT4GCN:利用BERT中间层特征增强GCN进行基于方面的情感分类
标题:BERT4GCN: Using BERT Intermediate Layers to Augment GCN for Aspect-based Sentiment Classification
Houye
2021/11/17
9390
BERT4GCN:利用BERT中间层特征增强GCN进行基于方面的情感分类
【论文推荐】最新八篇网络节点表示相关论文—可扩展嵌入、对抗自编码器、图划分、异构信息、显式矩阵分解、深度高斯、图、随机游走
【导读】专知内容组整理了最近八篇网络节点表示(Network Embedding)相关文章,为大家进行介绍,欢迎查看! 1.SIGNet: Scalable Embeddingsfor Signed Networks(SIGNet: 基于可扩展嵌入的Signed网络) ---- 作者:Mohammad Raihanul Islam,B. Aditya Prakash,Naren Ramakrishnan 摘要:Recent successes in word embedding and document e
WZEARW
2018/04/08
1.5K0
【论文推荐】最新八篇网络节点表示相关论文—可扩展嵌入、对抗自编码器、图划分、异构信息、显式矩阵分解、深度高斯、图、随机游走
Bert on ABSA、ASGCN、GAN、Sentic GCN…你都掌握了吗?一文总结情感分析必备经典模型(三)
本专栏将逐一盘点自然语言处理、计算机视觉等领域下的常见任务,并对在这些任务上取得过 SOTA 的经典模型逐一详解。前往 SOTA!模型资源站(sota.jiqizhixin.com)即可获取本文中包含的模型实现代码、预训练模型及 API 等资源。
机器之心
2023/08/07
6900
Bert on ABSA、ASGCN、GAN、Sentic GCN…你都掌握了吗?一文总结情感分析必备经典模型(三)
172篇 | COLING 2022论文集
1. Mintaka:A Complex, Natural, and Multilingual Dataset for End-to-End Question Answering
一点人工一点智能
2022/12/27
7340
172篇 | COLING 2022论文集
《Understanding Deep Learning》书摘
豆瓣:https://book.douban.com/subject/36395283/
AlphaHinex
2025/01/19
900
《Understanding Deep Learning》书摘
图神经网络11-GCN落地的必读论文:GraphSAGE
论文:Inductive Representation Learning on Large Graphs 在大图上的归纳表示学习 链接:https://arxiv.org/abs/1706.02216 作者:Hamilton, William L. and Ying, Rex and Leskovec, Jure(斯坦福) 来源:NIPS 2017 代码:https://github.com/williamleif/graphsage-simple/
致Great
2021/04/27
2.9K1
图神经网络11-GCN落地的必读论文:GraphSAGE
IJCAI2024推荐系统相关论文整理
第33届国际人工智能联合会议(International Joint Conference on Artificial Intelligence, 简称为IJCAI)是人工智能领域顶级的国际学术会议之一,也是CCF-A类会议。今年的IJCAI将于2024年8月03-09日在韩国济州岛举办。在今年的5461篇投稿论文中,有799篇大约14.63%的论文被接收,其中跟推荐系统相关的论文大约16篇。另外,跟(大)语言模型相关的论文40篇。
张小磊
2024/07/05
1.3K0
IJCAI2024推荐系统相关论文整理
GNN系列 综述 GNN GCN GraphSAGE GAT 简单理解 及调优Trick
图(graph)是一种数据结构,图神经网络(Graph Neural Network)应该是深度学习在图结构数据上的一些模型、方法和应用。常见的图结构由节点(node)和边(edge)构成,节点包含了实体(entity)信息,边包含实体间的关系(relation)信息。
大鹅
2022/09/04
3.4K0
【论文串烧】基于特定实体的文本情感分类总结(PART I)
这里说的是实体识别,马上想到的就是利用分步走解决:先去对文章进行实体识别,然后对提取出来的实体进行情感分类。但是后来一想这样两步的话会使得最终结果的错误率叠加,也就是说第一步做的不好的话会很大程度影响到第二步的结果。其实仔细看一下数据集会发现,它给出的很多样本实体并不是传统实体识别的实体,而是句子中的某一个token。这就跟SemEval2014的subtask 4非常像了,也就是Aspect Based Sentiment Analysis (ABSA)。不说废话了,接下来我们来看看关于ABSA问题都有哪些常用的算法。
zenRRan
2019/07/30
7980
【论文串烧】基于特定实体的文本情感分类总结(PART I)
文本分类综述 | 迈向NLP大师的第一步(中)
本系列文章总结自然语言处理(NLP)中最基础最常用的「文本分类」任务,主要包括以下几大部分:
NewBeeNLP
2020/12/08
8570
【论文推荐】最新5篇图像描述生成(Image Caption)相关论文—情感、注意力机制、遥感图像、序列到序列、深度神经结构
【导读】专知内容组整理了最近五篇图像描述生成(Image Caption)相关文章,为大家进行介绍,欢迎查看! 1. Image Captioning at Will: A Versatile Scheme for Effectively Injecting Sentiments into Image Descriptions(图像描述生成:一个有效地将情感结合到图像描述中的方案) ---- ---- 作者:Quanzeng You,Hailin Jin,Jiebo Luo 摘要:Automatic ima
WZEARW
2018/04/13
1.9K0
【论文推荐】最新5篇图像描述生成(Image Caption)相关论文—情感、注意力机制、遥感图像、序列到序列、深度神经结构
自然语言处理学术速递[7.27]
【1】 H-Transformer-1D: Fast One-Dimensional Hierarchical Attention for Sequences 标题:H-Transformer-1D:序列的快速一维分层关注
公众号-arXiv每日学术速递
2021/07/28
6760
MemNet、AT-LSTM、IAN、AF-LSTM…你都掌握了吗?一文总结情感分析必备经典模型(二)
本专栏将逐一盘点自然语言处理、计算机视觉等领域下的常见任务,并对在这些任务上取得过 SOTA 的经典模型逐一详解。前往 SOTA!模型资源站(sota.jiqizhixin.com)即可获取本文中包含的模型实现代码、预训练模型及 API 等资源。
机器之心
2023/08/07
5670
MemNet、AT-LSTM、IAN、AF-LSTM…你都掌握了吗?一文总结情感分析必备经典模型(二)
【论文推荐】最新七篇自注意力机制(Self-attention)相关论文—结构化自注意力、相对位置、混合、句子表达、文本向量
【导读】专知内容组整理了最近七篇自注意力机制(Self-attention)相关文章,为大家进行介绍,欢迎查看! 1. A Structured Self-attentive Sentence Embedding(一个结构化的自注意力的句子嵌入) ---- 作者:Zhouhan Lin,Minwei Feng,Cicero Nogueira dos Santos,Mo Yu,Bing Xiang,Bowen Zhou,Yoshua Bengio 机构:Montreal Institute for Learn
WZEARW
2018/04/08
8.7K0
【论文推荐】最新七篇自注意力机制(Self-attention)相关论文—结构化自注意力、相对位置、混合、句子表达、文本向量
基于特定实体的文本情感分类总结(PART II)
于是提出了一种解决ABSA问题的多粒度注意力网络(Multi-grained Attention Network, MGAN),主要的改进有:
zenRRan
2019/08/05
2.1K0
基于特定实体的文本情感分类总结(PART II)
100+篇论文合集: GNN在NLP中的应用
推荐一波大佬整理的GNN4NLP论文大合集,总共100多篇,涵盖NLP的各种任务~
张小磊
2021/06/10
8430
100+篇论文合集: GNN在NLP中的应用
【论文推荐】最新六篇知识图谱相关论文—Zero-shot识别、卷积二维知识图谱、变分知识图谱推理、张量分解、推荐
【导读】既昨天推出六篇知识图谱(Knowledge Graph)文章,专知内容组今天又推出最近六篇知识图谱相关文章,为大家进行介绍,欢迎查看! 1. Zero-shot Recognition via Semantic Embeddings and Knowledge Graphs(基于语义嵌入和知识图谱零次识别) ---- ---- 作者:Xiaolong Wang,Yufei Ye,Abhinav Gupta 机构:Carnegie Mellon University 摘要:We consider th
WZEARW
2018/06/05
1.8K0
推荐阅读
(ACL+ICML)2020推荐系统相关论文聚焦
9290
NAACL 2021 上的图神经网络好文
5710
NeurIPS图表示学习研讨会录取论文揭晓:92篇论文看懂图表示学习
1.6K0
BERT4GCN:利用BERT中间层特征增强GCN进行基于方面的情感分类
9390
【论文推荐】最新八篇网络节点表示相关论文—可扩展嵌入、对抗自编码器、图划分、异构信息、显式矩阵分解、深度高斯、图、随机游走
1.5K0
Bert on ABSA、ASGCN、GAN、Sentic GCN…你都掌握了吗?一文总结情感分析必备经典模型(三)
6900
172篇 | COLING 2022论文集
7340
《Understanding Deep Learning》书摘
900
图神经网络11-GCN落地的必读论文:GraphSAGE
2.9K1
IJCAI2024推荐系统相关论文整理
1.3K0
GNN系列 综述 GNN GCN GraphSAGE GAT 简单理解 及调优Trick
3.4K0
【论文串烧】基于特定实体的文本情感分类总结(PART I)
7980
文本分类综述 | 迈向NLP大师的第一步(中)
8570
【论文推荐】最新5篇图像描述生成(Image Caption)相关论文—情感、注意力机制、遥感图像、序列到序列、深度神经结构
1.9K0
自然语言处理学术速递[7.27]
6760
MemNet、AT-LSTM、IAN、AF-LSTM…你都掌握了吗?一文总结情感分析必备经典模型(二)
5670
【论文推荐】最新七篇自注意力机制(Self-attention)相关论文—结构化自注意力、相对位置、混合、句子表达、文本向量
8.7K0
基于特定实体的文本情感分类总结(PART II)
2.1K0
100+篇论文合集: GNN在NLP中的应用
8430
【论文推荐】最新六篇知识图谱相关论文—Zero-shot识别、卷积二维知识图谱、变分知识图谱推理、张量分解、推荐
1.8K0
相关推荐
(ACL+ICML)2020推荐系统相关论文聚焦
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档