04 图神经网络的扩展

接下来在我们将重点介绍五类基于图神经网络的延伸应用的模型结构：图生成和图对抗网络、图强化学习、图迁移学习、神经任务图和基于图神经网络的零样本学习。

4.1 图生成和图对抗网络

图生成网络的目标是基于一组可观察图来生成图。其中的很多方法都是领域特定的。例如，在分子图生成方面，一些研究将分子图的表征建模为字符串[64-65]。在自然语言处理中，生成语义图或知识图通常需要一个给定的句子[66-67]。最近，研究人员又提出了一些通用方法，主要有两个方向:其一是将生成过程看成节点或边的形成[68]，而另一些则使用生成对抗训练[69]。该领域的方法主要使用图卷积神经网络作为构造块。图信息在风险管理领域很重要，可以有效地判断两个图G和G’在分类语义下是否相等。这里选择节点只需要o(E)复杂度，而选择边需要o (E2)的计算复杂度。

4.2 图强化学习

在强化学习中，学习控制问题通常采用马尔可夫决策过程MDP，用于估计某些政策的预期长期回报。根据图中节点所表述的决策状态，利用转移概率矩阵来表示相似性矩阵。这里通过使用可学习的表示来实现线性逼近值函数，它们近似值函数为状态图上第一个拉普拉斯特征映射的线性组合。

Donnat等人[71]提出的方法采用不同的方法来学习结构节点嵌入。它基于以每个节点为中心的谱图小波的扩散来学习节点表示。图强化学习模型[72]是在上文提到的RPI是由表示学习阶段，利用原始数据集构建无向加权图预定义的。从有限数量的样本构造图结构，其派生的原始值函数并不一定能够反映基础状态空间。可以通过函数来测量图函数的全局平滑度。当来自平滑函数的值二vi，vj驻留在两个连接良好的节点上，即wij很大时，则预期它们具有小的距离，即表示图函数具有更好的平滑度。

4.3 图迁移学习

迁移学习是运用已有知识对不同但相关领域问题进行求解的一种机器学习方法。BOSCallll等人[73]提出的局部SCNN模型方法可以提取可变形状的属性。Bruna等人[ 10]提出图卷积结构的则是广义SCNN模型图迁移学习框架的一个关键组成部分，它从信号处理领域借用了傅立叶变换概念，以便将网格域中的CNN应用于图结构域。

Lee等人[74}提出的图迁移学习的方法由五个步骤组成，其中前三个步骤是根据输入生成图，并从图结构中识别独特的结构特征。最后两步是基于学习特征和图相似性应用迁移学习来进行推理。Pan和Yang[75]提出在迁移学习环境中的域由特征空间X和概率分布P(X)组成，对给定域都可以通过任务来表示具有标签的空间Y和训练数据预测函数f (')。这里迁移图GS中学习到的内在几何信息，在两个图域具有相似性结构的条件下，可以通过快速建立迁移学习T模型，利用来自异构数据集的图的谱特征，大幅提升了学习效率，最大限度地减少因新任务缺乏数据和不完善的结构信息而导致的问题。

4.4 神经任务图

对于任务图(Task Graph)}而言，其通过表示任务的组成与时序来有效地执行任务。而神经任务图网络(Neural Task Graph)]将任务图与神经网络相结合。能够更加高效的进行任务调度与学习。

通过视觉模拟学习方法，神经任务图网络将任务组合结合到中间任务的表示和策略中，在涉及多种任务，如照片渲染的模拟环境和现实世界的视频数据集中，神经任务图的表现比非结构化表示的方法以及人工设计的分层结构方法的效果更好。神经任务图显著提高了复杂任务的数据效率，并通过复合性来实现视频到任务的直接模仿。使用数据驱动的任务结构，神经任务图比学习非结构化任务表示的方法和使用强层次结构监督的方法好得多。

4.5 零样本学习图网络

图神经网络同样在零样本学习领域的图像和视频分类问题的领域有着非常重要的可应用性，其通过借助图结构中节点之间的强关联性，可以有效地泛化缺乏样本导致情况下需要生成新的分类的问题。基于知识图的零样本学习是利用现有的知识库或者知识图谱中结构化的关系信息，在未知任何样本数据的情况下，来推理学习解决分类的问题。Wang等人[78]提出的基于图卷积神经网络的零样本图像分类方法通过图卷积神经网络来处理未知权重信息的知识图，当预测未知的分类实体，基于原始标准答案的分类结果可以通过简单的均方差损失函数来实现。对于图神经网络而言，在解决零样本学习问题的过程中，当知识传播的层数较高时会造成处理效率的降低。Lee等人[79]则是提出了对于同时预测多个未知标签的的零样本学习方法，有效地解决了多分类的问题。

表4中对五种衍生图神经网络的研究工作进行了简要的概述和总结。

05 图神经网络的应用方向

图神经网络在不同的任务和所处理的时间、空间、或频谱域中，都具有广泛应用。每类图神经网络都有广泛的应用，包括节点分类，节点表示学习，图分类，图生成和时空预测，图神经网络也应用于节点聚类，链接预测等。我们将图神经网络的应用主要分为文本处理、图像处理、推荐系统、知识图谱、生物分子图、动态问题处理六个方向，具体的内容如表5所示。

5.1 图神经网络的文本应用

对于文本向量化表示而言，图神经网络可以对句子和词级别的文本进行处理，文献[25]通过密集图传播模块来实现距离较远的文本节点的关联关系表示。文献[61-62]则都是通过图嵌入的方式，来实现节点的向量化表示，用于文本词向量和句向量的推理。

文本分类领域，文献[80]利用基于双向图长短记忆网络，实现了每个文本词向量的双向状态表示，从而达到了更好文本分类效果。文献[81]通过递归正则化的方式，更有效的获取非连续的和长距离语义。

图神经网络也可以应用于文本的序列标注。对于文本图结构的词节点而言，每个节点的序列生成可以通过图生成网络的方式来实现，文献[79]提出了节点对象强化的图生成网络OR-GAN的方式来进行序列生成。文献[82]利用图长短记忆网络可以利用句法信息中文本节点间的关联关系进行建模，得到每个词节点的潜在特征用于序列标注。

关系推理是指从复杂的语义信息中提取出文字节点之间关联关系的相关研究。文献[19}提出了通过关系图卷积R-GCN的方法来完成文实体间之间关系的抽取和属性分类。文献[46]利用图长短记忆网络提出了文本序列中跨多个句子N元关系的方法。关系推理则是通过上下文中文本实体之间的关系进行任务推理。

5.2 图神经网络的图像应用

在图像分类的任务中，零样本和少样本学习的任务往往需要借助知识图谱的先验知识来提升识别效果。图神经网络有效提升知识图谱的推理效率。文献[17]中通过深度图传播的方法将异构图结构用于知识推理，利用中间节点的特征信息来优化知识的稀疏度。文献[83]则是借助图神经网络将少样本学习的任务转化为可以端到端训练的监督学习任务。

5.3 图神经网络的系统应用

对于推荐系统而言，用户与项目的关系可以构成二部图，用户与用户之间可以构成社交网络，项目与项目则可以构建知识图谱和异构图，通过图神经网络可以为用户推理出商品的重要性。文献[74]利用基于上下文的图自注意力网络实现了高性能的会话推荐。

如何构建和提升知识图谱的应用效果一直是图领域备受关注的研究方向。文献[23]利用知识图谱实现了基于知识迁移的图小样本学习方法。文献[78-79]都是通过知识图谱的推理来实现和完成图零样本学习的任务。文献[83]则是介绍了如何挖掘知识图谱实现大规模企业级应用实践。

作为生物学的研究领域，分子的构成是天然的图结构。文献[20]利用端到端的图卷积网络实现了圆形指纹的分子特征提取方法。文献[39]则是进一步将图卷积方法应用到了无向图先分子结构领域。文献[69]提出了基于图生成网络方法的分子图生成方法，可以有效模拟化学分子的合成。

5.4 图神经网络的动作检测应用

通过视频序列来实现任务预测是时序图领域的重要应用场景之一。文献[77}实现了基于共扼任务图结构的策略生成方法，实现了基于给定的演示视频推理完成未知的任务。文献[85]提出了视觉空间注意力机制的图卷积方法来完成视觉理解任务中人与对象交互定位HOI的任务。文献[21]通过时空图神经网络实现了基于骨节运动的动作检测。

*博客内容为网友个人发布，仅代表博主个人观点，如有侵权请联系工作人员删除。