6. 现有方法总结

这里对主要的推理方法进行一个总结，可以发现基于逻辑演绎规则和图结构的方法都是是基于符号的方法，其可解释性比较好，但泛化性能比较差，都是离线的计算方式。基于知识图谱嵌入和深度神经网络模型，其泛化性能比较好，但可解释性比较差。

近期研究的重点是如何将符号主义和连接主义的模型进行融合来获得具有可解释性的知识图谱推理模型。

03 研究动机

1. 知识图谱推理的可解释性

对知识图谱推理的可解释性来源进行了分类：

• 逻辑可解释性：是天然的知识图谱可解释性来源，可以提供逻辑解释依据。

• 图结构的可解释性：图结构具有路径特征，如metapath和子图的结构特征。

• 神经网络模型可解释性：事后可解释性，可以通过神经网络的一些事后可解释性手段来分析特征的显著性。其代表方法是Attention机制的可视化，这种方法目前还不是很成熟；另一种是 CAM 或图 CAM 方法；还有一种是利用嵌入空间理论分析方法，其中 RotateE 或双曲空间其嵌入空间理论分析做的非常好，但是不能很好地解释参数的变化。

2. 强化学习

如何对符号主义和连接主义的模型进行有效的融合是近期的研究热点。这里研究的重点是将强化学习融入到知识推理中。

强化学习是近 10 年来非常受关注的模型，在控制、游戏、机器人中得到了广泛应用。其是将一个学习过程建模成马尔科夫过程，通过智能体和环境的互相交互，通过最大化长期累积的奖赏来训练模型。与环境交互时会产生轨迹，如果将知识图谱建模为一个强化学习的过程，那么既可以得到推理的结果，也可以得到推理的路径，通过推理路径来解释知识图谱推理。

3. 基于强化学习的知识图谱推理

具体的融合方法是将知识图谱视为一个环境，将智能体建模成一个深度神经网络，结合符号主义和连接主义的优缺点，做到取长补短，让模型同时具备神经网络的泛化性能和路径可解释性，同时由于深度强化学习是一个序列过程，可以处理多跳推理的过程。

04 近期研究

1. 基于层次强化学习的知识图谱推理

第一个进行的工作就是基于层次强化学习的知识图谱推理模型。

其研究的背景是解决知识图谱多语义问题。以图为例，将 FreeBase 知识图谱中的实体用 TransE 进行预训练，将相关联的实体相减得到关系的表示，将表示进行 PCA 降维可视化，可以看到关系具有多个语义簇，代表关系模型在预训练模型中出现的模式。多个语义簇会造成歧义的现象，造成推理准确率下降。

如何解决知识图谱推理多语义问题呢？结合近期神经科学的发现，发表在 Science 上的文章表明人类或高级动物其决策的过程是一个分层推理的过程，是一个潜意识的过程，通过多次观察、多次推理，逐步去消解多语义和歧义，来得到推理的结构。分层决策的机制是认知过程的核心机制，是该论文的结论。例如，人在识别一只金丝猴的过程中的一个潜意识过程是先识别是一个动物，是一个灵长目的动物，再识别它是一只金丝猴。这是一个从高水平到低水平、从概念上粗粒度到细粒度的过程，该过程就是一个分层的机制。

分层强化学习与传统强化学习模型的区别是，分层强化学习将决策空间进行了进一步的结构化，将问题分解为若干个子问题来进行决策。分层强化学习更像人类思维，能够提高知识推理的准确度，解决多语义问题。

具体实现分层强化学习的方法是设计两个互相嵌套的强化学习，一个是高层次的策略函数，一个是低层次策略函数。高层次策略控制知识图谱实体间的状态转移，低层次策略控制语义簇之间的转移，语义簇是用 TransE 的嵌入来构建。

具体来讲，高水平策略函数是一个基于 GRU 的可以保存历史向量的策略函数，其奖赏函数是一个γ衰减的奖赏函数。低水平策略函数是一个将状态空间层次化分解的过程，其奖赏函数是一个 0、1 奖赏。

其训练的目标是使其奖赏最大化，利用梯度策略优化来训练模型。由于该模型高水平策略和低水平策略互相嵌套的模型，使用交替固定优化的方式，通过蒙特卡洛采样轨迹的方式来训练推理模型。

使用的评价指标是平均准确率、平均排序分数和 Hit@X。数据集是常识知识图谱 FB15K、NELL995、WN18RR，其中 FB15K 的多语义现象比较严重。

进行链接预测的实验，图为实体预测的实验结果，可以发现模型在大部分数据集上表现的都比较好，同时在多语义的数据集上表现的更好一点。

第二个是事实预测的实验，给定两个实体，预测它们之间是否存在某种关系，是一个二分类的问题，模型在 FB15K-237 上表现更好一些。

分层强化推理可以提供可解释性的推理路径，如图，在推理过程中相比于 MINERVA可以提供更好的推理路径。

小结：提出了一个分层强化学习的知识推理模型，这个模型模仿了人类的思维方法，这个模型可以学习到知识图谱中关系的层次化语义簇，从而有助于解决推理过程的多语义问题。实验表明，这个模型可以在标准的数据集上取得竞争性的结果，在多语义问题上表现更好。该工作发表于 2020 年 IJCAI 上。

*博客内容为网友个人发布，仅代表博主个人观点，如有侵权请联系工作人员删除。