1. Graph-FCN for image semantic segmentation 

本文针对语义分割提取高级特征时往往忽略局部位置信息的问题，提出了一个执行图像语义分割任务的图模型 Graph-FCN，该模型由全卷积网络（FCN）进行初始化。 

首先，通过卷积网络将图像网格数据扩展至图结构数据，这样就把语义分割问题转换成了图节点分类问题；然后，使用图卷积网络解决图节点分类问题。 

 节点：节点标注由 FCN-16s 进行初始化。通过端到端训练后，FCN-16s 得到步幅为 16 和 32 的特征图。对步幅为 16 的特征图执行因子为 2 的上采样可以获得与步幅为 32 的特征图一样的大小。（节点 j 的）标注 x_j 由这两个特征向量以及特征图中每个节点位置的级联进行初始化。该标注包含在局部感受野上提取到的特征。在训练过程中，通过对原始标注图像执行池化操作来得到节点标签。 

 边：在图模型中，边和邻接矩阵相关。假设每个节点和其最邻近的 l个节点相连，这意味着节点标注可以通过图神经网络中的边进行迁移。下图中的示例描述了图神经网络中的感受野。假设 l 为 4，那么从相关距离的影响来看，需要用高斯核函数获得权重邻接矩阵 A。 受限于计算量，论文使用FCN初始化该图模型。该图模型基于小尺寸图像构建，其节点标注由 FCN 进行初始化，边的权重则由高斯核函数进行初始化。 

 矩阵 N 与 E 对应，它们都按照节点的顺序排列。使用监督学习方式训练模型。节点 n_j 表示图 j 中的节点集，t_j 表示节点集 n_j 的标注集。因此用于语义分割任务的图模型可公式化为： 

2. Symbolic Graph Reasoning Meets Convolutions 

本文探索了如何利用局部卷积神经网络之外的各种人类知识来赋予网络一个全局的语义推理能力。提出了一个新的符号图推理层（SGR），对一组符号节点进行推理，这些符号节点的输出明确地表示先验知识图中每个语义的不同属性。

为了与本地卷积配合使用，每个SGR层由三个模块构成：

a）原始的本地到语义投票模块，其中所有符号节点的特征是通过从本地表示投票生成的; 

b）图形推理模块：通过知识图传播信息以实现全局语义一致性; 

c）双语义到本地映射模块：学习演进的符号节点与局部表示的新关联，并因此增强局部特征。 

SGR层可以在任何卷积层之间注入，并将不同的先验图形实例化。广泛的实验表明，在简单的ConvNets中结合SGR显著改善了三个语义分割和一个图像分类任务。更多分析表明，SGR层学习了具有不同标签集的域/数据集的共享符号表示，给出了通用知识图，展示了其优越的泛化能力。  

通用图形构造 

常识知识图用于描述一般的实体（例如，类，属性和关系）之间的不同相关性，其可以是任何形式。为了支持通用图推理，知识图可以表示为G =（N，E），其中N和E分别表示符号集和边集。 

1. 类层次结构图由一系列实体类（例如人，摩托车手）构成，其图形边缘承担概念所有物的责任（例如“是某种”或“是…的一部分”）。具有这种层次结构知识的网络可以通过将父类的共享表示传递到其子节点来增强特征层次结构的学习。  
2. 类发生图将边缘定义为图像中两个类的出现，表征预测的合理性;   
3. 语义关系图作为更高级别的语义抽象，可以扩展符号节点以包括更多动作（例如“骑”，“播放”），布局（例如“在…之上”）和属性（例如颜色或形状） 而图形边缘是从语言描述中统计收集的。结合这种高级常识知识可以促进网络在知道每个实体对的关系后对虚假解释进行修剪，从而产生良好的语义一致性。   

基于该通用公式，要求图形推理对于软图形边缘（例如，出现概率）和硬边缘（例如，所有物）以及不同的符号节点是兼容的和通用的。 因此，各种结构约束可以被建模为符号节点上的边缘连接，就像人类使用的语言工具一样。    

本地语义投票模块 

考虑到来自卷积层的局部特征向量，我们的目标是利用具有外部结构化知识的全局推理图来增强局部特征。因此，我们首先将在局部特征中编码的全局信息概括为符号节点的表示Hps，即，与特定语义（例如cat）相关的局部特征被聚合以描绘其对应的符号节点的特征。Hps的维度为M*Dc，M=|N|为所有符号节点的数量，Dc为特征维度   

图形推理模块

基于符号节点的视觉证据，采用结构化知识引导的推理来利用人类常识的语义约束来演化符号节点的全局表示。 在这里，我们将每个符号节点的语言嵌入和知识连接（即节点编织）结合起来，用于执行图形推理。 形式上，对于每个符号节点n∈N，我们使用现成的单词向量[17]作为其语言嵌入，表示为S。   

语义到本地映射模块 

最后，符号节点的演化全局表示Hg∈RM×Dc可用于进一步提高每个局部特征表示的能力。