新闻  |   论坛  |   博客  |   在线研讨会
收藏|图神经网络综述(1)
数据派THU | 2021-04-07 20:00:08    阅读:208   发布文章

在科学研究中,从方法论上来讲,都应“先见森林,再见树木”。当前,人工智能学术研究方兴未艾,技术迅猛发展,可谓万木争荣,日新月异。对于AI从业者来说,在广袤的知识森林中,系统梳理脉络,才能更好地把握趋势。 

摘要:随着计算机行业和互联网时代的不断发展与进步,图神经网络已经成为人工智能和大数据重要研究领域。图神经网络是对相邻节点间信息的传播和聚合的重要技术,可以有效地将深度学习的理念应用于非欧几里德空间的数据上。简述图计算、图数据库、知识图谱、图神经网络等图技术领域的相关研究历史,分类介绍不同类型的图结构。分析对比不同的图神经网络技术,重点从频域和空间与的信息聚合方式上分类比较不同的图卷积网络算法。阐述图生成和图对抗网络、图强化学习、图迁移学习、神经任务图和图零样本学习等不同的图网络与深度学习方法相结合的技术方法,并列举不同的图神经网络技术在文本、图像、知识图谱、视频任务等领域的具体应用。最后,对图神经网络未来的发展与研究方向加以展望。

关键词:图神经网络,图结构,图计算,深度学习,图神经网络应用

01 概述

近年来随着计算机行业的快速发展和数据量的井喷式增长,深度学习方法被提出并得到了广泛的应用。深度学习通过神经网络端到端的解决方案,在图像处理、语音识别、语义理解等领域取得了巨大的成功,深度学习的应用往往都是在高维特征空间上特征规则分布的欧几里德数据。作为一种关系型数据结构,图(Graph)在深度学习中的应用研究近年来受到越来越多的关注,本文将图的演进历程分为数学起源、计算应用、神经网络延伸三个阶段。

图的概念起源于18世纪著名的柯尼斯堡七桥问题,到了20世纪中期,拟阵理论、超图理论、极图理论等研究蓬勃发展,使得图论(Graph Theory)在电子计算诞生前,就已经成为了重要的数学研究领域。

随着计算机的出现和机器计算时代的到来和发展,图作为一种能够有效且抽象地表达信息和数据中的实体以及实体之间关系的重要数据结构被广泛应用,图数据库有效解决了传统的关系型数据结构面对大量复杂的数据所暴露出的建模缺陷多、计算速度慢等问题,图数据库也成为了非常热门的研究领域。图结构(Graph-structured Data)]可以将结构化数据点通过边的形式,依照数据间的关系将不同类型和结构的数据节点连接起来,因而被广泛地应用在数据的存储、检索以及计算应用中。

基于图结构数据,知识图谱[4-7}可以通过点和边的语义关系,来实现精确地描述现实世界中实体之间的关联关系,作为人工智能非常重要的研究领域,知识图谱的研究方向包括知识抽取、知识推理、知识图谱可视化等。图计算(Graph Computing)具有数据规模量大、局部性低、计算性能高等特性,图计算算法}s-}}主要可以分为路径搜索算法、中心性算法、社群发现算法等三类,实现了在关系复杂型的大规模数据上高时效性和准确度的表现,在社交网络、团体反欺诈和用户推荐等领域有着重要的应用。

与已经非常成熟图计算不同,图神经网络( Graph Neural Network)的研究主要是集中在相邻节点信息的传播与聚合上,从图神经网络的概念提出,到受深度学习中卷积神经网络的启发,2013年提出的基于图论的图卷积神经网络研究方向吸引了大量学者关注。2018年DeepMind提出图网络(Graph NeW ork) flz}的概念,希望能够将深度学习端到端的学习方式与图结构关系归纳推理的理论结合解决深度学习无法处理关系推理的问题。针对图神经网络存在的问题,不同的学者们也给出了不同的方案,随着对图神经网络这一新兴领域更加深入的研究与探索,人工智能领域的版图将得到更大扩展。

文献[12]在关系归纳偏置和深度学习的研究基础上,提出了面向关系推理的图网络概念并进行了综述,但未对不同图网络技术进行分类和对比。文献[13]从半监督、无监督方法的角度对图结构上的深度学习进行了综述,但缺少相近的分类和应用的讨论。文献[14]主要从传播规则、网络结构等角度分析了图神经网络的不同模型以及应用。文献[15]则是详细对比了时域和空间的不同图卷神经网络方法结构,但没有对图神经网络之于深度学习领域的探讨,如图强化学习、图迁移学习等。本文针对图神经网络,分析对比了六种图神经网络方法的优劣,首次对处理异构图数据的图神经网络技术进行了讨论和研究,综述了五类图神经网络的研究领域,并对未来的发展方向进行了展望。

02 图结构

2.1 图结构定义

图神经网络所处理的数据为在欧氏空间内特征表示为不规则网络的图结构数据,这里定义基本的图结构为:    

其中图G由数据节点集合  连接节点集合。

映射到高维特征空间:

所得到的邻接矩阵通过下图表示:

表示邻接矩阵Aij中的元素。

2.2 不同的图结构

从图的构成上来进行区分,图结构主要可以分为空间和时间两个角度。空间上图结构的变化可以从节点和边来进行区分,如边异构的有向图、权重图和边信息图,以及节点异构图。时间上引入节点在时序变化中的差异从而形成了时空图结构。图1中对这五种典型的图结构示例进行了对比展示,表1中对不同图结构的结构特征、图模型和应用场景进行了总结和梳理。

3.jpg2.jpg

1)有向图是指在图结构中,连接节点之间的边包含指向性关系,即节点之间的关联就包含了方向的传递性关系,对于图神经网络而言,这种传递关系和深度学习神经网络神经元中信号传递的结构近似,有向图的输入是各个节点所对应的参数。

针对单向图的处理方式,Niepert等人[16]提出了适用于有向图的无监督判断不同节点标签方式的理论。而就可能存在的双向关系,Kampffmeyer等人[17]在利用知识图谱解决零样本学习的方法中提出了通过双向权重对应的双向邻接矩阵表示双向关系,从而实现给神经网络传递更多的信息。

2)权重图是指图结构中的边包含权重信息,可以有效地描述节点之间相互作用的可靠程度,定量地表现关系的连接程度。对于权重图的处理,Duan等人[18]提出了通过对动态权重有向图进行归一化处理,利用节点之间的关联关系权重动态实现了信息挖掘的方法。

3)边信息图是对于存在不同结构边的图结构,节点之间的关联关系可以包含权重、方向以及异构的关系,比如在一个复杂的社交网络图中,节点之间的关联关系既可以是单向的关注关系,也可以是双向的朋友关系。

对于包含复杂边信息的图结构而言,复杂的关联关系不能直接通过简单的权重约束来表示,G2S[19]提出了一种将原始图转换成二分图的方式,在处理自然语言处理任务中,将每一个词节点之间的关联关系采用独立分开编码方式,从而大幅提升了语义理解的效率。

4)节点异构图是指在图中的节点属于多个不同的类型的图结构,这种图结构往往可以根据异构节点的类型,对节点进行向量表示,这里可以通过独热编码等编码方式来实现节点的向量表示。

MetaGraph2Vec[20]提出了一种通过元路径对异构图结构的文本进行编码的方式,这种方法根据异构节点的类型对邻居节点进行分组,可以应用于节点分类、节点聚类以及相似度搜索等问题。

5)时空图是一种属性图结构,其特点是高维特征空间f*中的特征矩阵X会随着时间而变化,这里我们定义为

1.png

图结构随着时间序列的引入,可以有效地处理包含动态和时序关系类型的任务,Yan等人[21]提出了一种基于时空图卷积神经网络的骨架运动检测方法,You等人[22]基于视频标签节点之间的邻接关系相似度,利用提出了一种多标签视频分类的图神经网络方法。

*博客内容为网友个人发布,仅代表博主个人观点,如有侵权请联系工作人员删除。

参与讨论
登录后参与讨论
推荐文章
最近访客