我们探索了如何利用局部二维卷積运算符号神经网络之外的各种人类知识来赋予网络一个全局的语义推理能力我们提出了一个新的符号图推理层（SGR），而不是使用单独嘚图模型（如CRF）或对于广泛依赖关系建模的约束它对一组符号节点进行推理，这些符号节点的输出明确地表示先验知识图中每个语义的鈈同属性为了与本地二维卷积运算符号配合使用，每个SGR层由三个模块构成：a）原始的本地到语义投票模块其中所有符号节点的特征是通过从本地表示投票生成的;
b）图形推理模块：通过知识图传播信息以实现全局语义一致性; c）双语义到本地映射模块：学习演进的符号节点與局部表示的新关联，并因此增强局部特征
SGR层可以在任何二维卷积运算符号层之间注入，并将不同的先验图形实例化广泛的实验表明，在简单的ConvNets中结合SGR显著改善了三个语义分割和一个图像分类任务更多分析表明，SGR层学习了具有不同标签集的域/数据集的共享符号表示給出了通用知识图，展示了其优越的泛化能力
尽管标准识别任务，例如图像分类[12]和通过二维卷积运算符号网络实现的分割[6]取得了显着進步，但是它主要在于更深层次和更复杂的局部二维卷积运算符号而我们希望它能够捕捉到关于输入和目标之间关系的一切。但是这样嘚网络损害了特征的可解释性并且缺乏对复杂的现实世界任务至关重要的全局推理能力。因此一些工作[51,41,5]制定了图模型和结构约束（例如CRF
[22,19]）作为影响最终二维卷积运算符号预测的重复工作但是，它们无法明确增强特征表示从而导致有限的泛化能力。最近的胶囊网络[39,14]扩展箌了解跨位置的知识共享以找到特征群集但它只能利用隐式和不可控制的特征层次结构。 正如[3]中所强调的利用外部知识进行视觉推理對于人类决策至关重要。
缺乏对上下文和高级语义的明确推理会阻碍二维卷积运算符号网络在大概念词汇表中识别对象的进步其中探索語义相关性和约束起着重要作用。 另一方面结构化知识来记录人类观察和常识用语词汇（例如，nouns or predicates）提供了丰富的线索 为了更好的图形嶊理，需要将学习的局部特征表示与桥梁语义联系起来
在本文中，我们探讨如何将丰富的人类常识[33,53]纳入到超出局部二维卷积运算符号的Φ间特征表示学习并进一步实现全局语义一致性。 人类常识可以形成为由概念之间的丰富关系组成的各种无向图（例如语义层级，空間/动作交互属性，一致性）例如，由于一些共同的特征“设得兰牧羊犬”和“赫斯基”共享一个超类“狗”;人们戴帽子和弹吉他，反过来却不能这样说;橙色是黄色将结构化知识与视觉领域相关联后，所有
这些符号实体（例如狗）可以与来自图像的视觉证据相关联洇此人类可以整合视觉外观和常识知识以帮助识别。
我们试图模仿这个推理过程并将其整合到二维卷积运算符号网络中即首先从本地特征通过投票表征不同符号节点的表示; 然后通过图形传播进行图形推理，增强这些符号节点的视觉证据实现语义一致性; 最终将符号节点的演化特征映射回网络中促进每个局部表示。 我们的工作超越了先前的方法主要在于，它直接将外部知识图的推理结合到局部特征学习中称为符号图推理（SGR）层。
请注意这里我们使用“符号”来表示具有明确语言意义的节点，而不是图形模型或图形神经网络中使用的传統/隐藏图节点[40,18]
我们的SGR层的核心由三个模块组成，如图1所示首先，每个符号节点的个性化视觉证据可以通过所有本地表示投票产生称為本地到语义投票模块。 投票权重代表每个本地特征对某个节点的语义协议信任 然后，给定先验知识图图形推理模块被实例化以在该圖上传播信息以用于演变所有符号节点的视觉特征。 最后双语义到本地模块学习进化的符号节点和局部特征之间的适当关联，以结合局蔀和全局推理的力量
因此，它使得特定符号节点的进化知识能够在全局推理的帮助下驱动对语义兼容的局部特征的识别
图一：提出的SGR層概述。 每个符号节点通过本地到语义投票模块（长灰色箭头）接收所有来自本地特征的投票并且在图形调整后将其演化后的特征映射箌从语义到局部映射模块（长紫色箭头）的每个位置。 为简单起见我们在知识图中省略了更多的边和符号节点。
我们的SGR层的主要优点在於三个方面：a）通过常识知识促进的局部二维卷积运算符号和全局推理可以通过学习图像特定观察与先验知识图之间的关联来协作; b）每个局部特征通过其相关的输入局部特征得到增强而在标准局部二维卷积运算符号中，它仅基于其自身的输入特征和学习的权重向量之间的仳较; c）从通用符号节点的学习表示中获益学习的SGR层可以容易地转移到具有差异概念集的其他数据域。
并且SGR层可以在任何二维卷积运算符號层之间插入并根据不同的知识图进行个性化。
广泛的实验表明通过结合我们的SGR层，可以优于普通的ConvNets特别是在三个语义分段数据集（COCO-Stuff，ADE20KPASCAL-Context）和图像分类数据集（CIFAR100）中识别大概念词汇表。 当将SGR层训练一个域转移到其他域时我们进一步证明了其有希望的泛化能力。
最近關于二维卷积运算符号网络的上下文建模的研究可以分为两个流派一种是通过网络利用基于图形的CNN和RNN来获得图形结构数据，或者是利用高级二维卷积运算符号滤波器以发现更复杂的特征依赖性在二维卷积运算符号网络的背景下，诸如条件随机场（CRF）之类的图形模型可以通过对基本二维卷积运算符号的最终预测起作用而形成复现网络
相比之下，所提出的SGRlayer可以被视为简单的前馈层可以在任何二维卷积运算符号层之间注入，并且通用于任何网络用于大规模和语义相关的识别。 我们的工作不同之处在于局部特征被映射到有意义的符号节点 对位置的全局推理与外部知识直接对齐，而不是隐式特征聚类这是引入结构约束的更有效和可解释的方式。
另一种方法探索在基础网絡上利用外部知识如邓等人[9]采用标签关系图来指导网络学习，而Ordonez等人[37]学习了共同概念级别概念的映射一些工作通过在最终预测分数上采用复杂的图形推理[9]，分层损失[38]或单词嵌入先验[49]来使网络输出正规化然而，它们的损失约束只能在最终预测层上起作用并间接引导视覺特征为层次感知，这很难保证最近，Marino等人
[32]使用结构先验知识来增强多标签分类的预测，而我们的SGR提出了一个通用的神经层可以注叺任何二维卷积运算符号层，并允许神经网络利用从各种人类知识中获得的语??义约束陈等人
[7]利用基于区域的局部推理和全局推理来促进对象检测。相比之下我们的SGR层直接对符号节点进行推理，并与本地二维卷积运算符号层无缝交互以获得更好的灵活性。值得注意嘚是人工智能中关于推理最早的研究可以追溯到象征性方法[35]，通过用数学和逻辑语言对抽象符号进行推理在将这些方法实施后，统计學习算法[23]用于提取有用的模式以在知识库上执行关系推理
对于高级任务而言，一个足够实用的有效推理过程应该加入局部视觉表示学习囷全局语义图推理的力量 我们的推理层涉及这一系列的研究，通过当地表征投票对语言实体的视觉证据进行明确推断
常识知识图用于描述一般的实体（例如，类属性和关系）之间的不同相关性，其可以是任何形式为了支持通用图推理，知识图可以表示为G =（NE），其ΦN和E分别表示符号集和边集这里我们给出三个例子：
a）类层次结构图由一系列实体类（例如人，摩托车手）构成其图形边缘承担概念所有物的责任（例如“是某种”或“是…的一部分”）。具有这种层次结构知识的网络可以通过将父类的共享表示传递到其子节点来增强特征层次结构的学习
b）类发生图将边缘定义为图像中两个类的出现，表征预测的合理性;
c）语义关系图作为更高级别的语义抽象可以扩展符号节点以包括更多动作（例如“骑”，“播放”）布局（例如“在…之上”）和属性（例如颜色或形状） 而图形边缘是从语言描述Φ统计收集的。结合这种高级常识知识可以促进网络在知道每个实体对的关系后对虚假解释进行修剪从而产生良好的语义一致性。
基于該通用公式要求图形推理对于软图形边缘（例如，出现概率）和硬边缘（例如所有物）以及不同的符号节点是兼容的和通用的。 因此各种结构约束可以被建模为符号节点上的边缘连接，就像人类使用的语言工具一样 我们的SGR层旨在实现适用于编码各种知识图形式的一般图形推理。 如图1所示它由本地到语义的投票模块，图形推理模块和语义到本地映射模块组成如以下部分所示。
图2：通过将Hl×Wl×D1的二維卷积运算符号特征张量作为输入来实现一个SGR层的细节 ?表示矩阵乘法，并且表示逐元素求和而带C的圆表示串联。 注意到执行softmax操作，张量扩展ReLU操作。 绿色框表示1×1二维卷积运算符号或线性层
3.2本地语义投票模块
考虑到来自二维卷积运算符号层的局部特征向量，我们嘚目标是利用具有外部结构化知识的全局推理图来增强局部特征因此，我们首先将在局部特征中编码的全局信息概括为符号节点的表示即，与特定语义（例如cat）相关的局部特征被聚合以描绘其对应的符号节点的特征形式上，我们使用第l个二维卷积运算符号层之后的特征张量Xl∈RH1×W1×Dl作为模块输入其中H1和W1是特征图的高度和权重，D1是信道编号
该模块旨在使用X1生成所有M = | N |符号节点的视觉表示Hps∈RM×Dc，其中Dc是每個节点n的期望特征维度其被表达为函数φ：
其中Wps∈RD1×Dc是用于将每个局部特征xi∈X1转换为维度Dc的可训练变换矩阵，并且Aps∈RH1×W1×M表示对每个符號节点的所有局部特征的投票权重 具体地，通过投票权重axi→n∈Aps对所有加权变换的局部特征求和来计算每个节点n的视觉特征Hpsn∈Hps其表示将局部特征xi分配给节点n的置信度。 更具体地说函数φ计算如下：
这里Wa = {Wa n}∈RD1×M是用于计算投票权重的可训练权重矩阵。 通过在每个位置使用softmax来標准化Aps 以这种方式，不同的局部特征可以自适应地投票到不同的符号节点的表示
基于符号节点的视觉证据，采用结构化知识引导的推悝来利用人类常识的语义约束来演化符号节点的全局表示 在这里，我们将每个符号节点的语言嵌入和知识连接（即节点编织）结合起来用于执行图形推理。 形式上对于每个符号节点n∈N，我们使用现成的单词向量[17]作为其语言嵌入表示为S = {sn}，sn∈RK
图推理模块通过矩阵乘法形式对所有符号节点的表示Hps执行图传播，从而产生演化特征Hg：Hg = σ(AgBWg)
其中B = [σ（Hps）S]∈RM×（Dc + K）通过激活函数σ（·）和语言嵌入S连接变换后的Hps的特征。 Wg∈R（Dc + K）×（Dc）是可训练的权重矩阵 根据（n，n0）∈E中的边连接定义节点邻接权重a→n0∈Ag 如3.1节所述，根据不同的知识图资源边缘连接鈳以是软权重（例如0.8）或硬权重（即{0,1}）。 与Ag的简单乘法将完全改变特征向量的规模
受图二维卷积运算符号网络的启发[18]，我们可以归一化Ag使得所有行总和为1以消除这个问题，即Q-1 2 AgQ-1 2其中Q是Ag的对角节点度矩阵。 该对称归一化对应于取相邻节点特征的平均值 该公式达到了新的傳播规则：
其中Ag = Ag + I是图G的邻接矩阵，其中添加了自连接以考虑其自身的每个节点的表示并且I是单位矩阵。 Qii = Pj Ag ij
3.4语义到本地映射模块
最后，符號节点的演化全局表示Hg∈RM×Dc可用于进一步提高每个局部特征表示的能力 由于每个符号节点的特征分布在图推理后已经改变，因此关键问題是如何从每个符号节点的表示hg∈Hg到所有xi找到最合适的映射 这对于学习局部特征和符号节点之间的兼容性矩阵是不可知的。
受消息传递算法[11]的启发我们通过评估每个符号节点hg与每个局部特征xi的兼容性来计算映射权重ahg→xi∈Asp：
其中Ws∈RD1+ Dc是可训练的权重矩阵。 兼容性矩阵Asp∈RH×W×M洅次进行行标准化 通过图形推理得到的演化特征Xl + 1，作为l + 1二维卷积运算符号层中的输入可以更新为：Xl+1 = σ(AspHgWsp) + Xl,
其中Wsp∈RDc×D1是用于将符号节点表示嘚维度变换回D1的可训练矩阵，并且我们使用残差连接[12]来进一步增强具有原始局部特征张量X1的局部表示 每个局部特征由来自每个符号节点嘚加权映射更新，这些映射表示语义的不同特征
每个符号图推理层由本地到语义投票模块，图形推理模块和语义到本地映射模块的堆栈構成 SGR层由具有不同数量的符号节点和不同节点连接的特定知识图实例化。 将多个SGR层与不同的知识图组合成二维卷积运算符号网络可以导致混合图推理行为 我们通过1×1二维卷积运算符号运算和非线性函数的组合实现每个SGR的模块，如图2所示我们的SGR灵活且通用，足以在任何夲地二维卷积运算符号之间进行注入
尽管如此，由于SGR被指定为包含高级语义推理因此在后面的二维卷积运算符号层中使用SGR是更优选的，如我们的实验所示
由于我们提出了提出的可靠的二维卷积运算符号网络，我们因此将它与CocoStuff [4]Pascal-Context [34]和ADE20K [52]上的像素级预测任务（即语义分割）和CIFAR-100仩的图像分类任务进行了比较[21]。 对Coco-Stuff数据集进行了广泛的消融研究[4]
数据集。 我们评估了三个公共基准用于对大规模类别进行细分，这比其他小型细分数据集（例如PASCAL-VOC）带来更现实的挑战并且可以更好地验证全局符号推理的必要性。 具体而言Coco-Stuff [4]包含10,000个图像，其中注释为91个（唎如书籍时钟）和91个类别（例如，flowerwood），其中9,000个用于训练1,000个用于测试。 ADE20k
[52]由20,210个用于训练的图像和2,000个用于验证的图像组成注释有150个语义概念（例如绘画，灯） PASCAL-Context [34]包括4,998个用于训练的图像和5105个用于测试的图像，注释有59个对象类别和一个背景 我们使用像素精度（pixAcc）的标准评估指标和平均联盟（mIoU）。
8并将SGR层合并到其中一个SGRlayer的详细实现如图2所示。我们的最终模型模块使用{6,12,18,24}的金字塔来创建空间金字塔池（ASSP）[6]模块鉯将ResNet-101的最终ResBlock中的2,048-d特征减少为256-d特征。在此之后我们堆叠一个SGR层以增强本地特征，然后是最终的1×1二维卷积运算符号产生最终的像素预测洇此，本地到语义投票模块和图推理模块中的特征维度的D1和Dc被设置为256并且我们对σ（·）使用ReLU激活函数。来自fastText
[17]的字嵌入用于表示每个类其提取子字信息并很好地概括为词汇外单词，从而为每个节点产生K = 100-d向量
我们对所有数据集使用通用概念层次结构。在[27]之后从包含182个概念和27个超类的COCO-Stuff
[4]的层次结构开始，我们使用WordTree手动将其余两个数据集中的概念合并为[27]它在最终概念图中产生了340个概念。因此该概念图使嘚符号图推理层在所有三个数据集中可以是相同的，并且其权重可以容易地与彼此的数据集共享我们在精确调整期间确定了ResNet-101批量标准化嘚移动方式和变化。我们采用标准的SGD优化受[6]的启发，我们使用“poly”学习率策略为新初始化的层设置基本学习率为2.5e-3，为预训练层设置2.5e-4峩们为Coco-Stuff和PASCAL训练64个时期
- 上下文和ADE20K数据集的120个时期。对于数据增加我们采用随机浮点，随机裁剪和0.5到2之间的随机调整所有数据集由于GPU内存限制，批量大小用作6.输入裁剪大小设置为513×513
4.1.1与最先进的技术进行比较
表1,2,3分别报告了与Coco-Stuff，PascalContext和ADE20K数据集上最新的最新方法的比较结合我们的SGR層显着优于所有三个数据集上的现有方法，证明了在大规模像素级识别之外执行超出局部二维卷积运算符号的显式图推理的有效性图3显礻了与基线“Deeplabv2
[6]”的定性比较。我们的SGR获得了更好的分割性能特别是对于一些罕见的类别（例如伞，泰迪熊）从关于概念层次图的频繁概念的联合推理中获益。特别是将用于分类任务的高级语义约束结合到像素识别中的技术并不是微不足道的，因为将先验知识与密集像素本身相关联是很困难的先前的工作[38,10,49]也试图隐含地促进最近的DSSPN
[27]直接为每个父概念设计了一个网络层，然而这种方法难以扩展到大规模嘚概念集，导致对不太可能属于的像素进行冗余预测与先前的方法不同，通过仅添加一个reaso所提出的SGR层可以实现更好的结果ning layer，同时保留良好的计算和内存效率
哪个ConvBlock添加SGR层？表1和表4比较了将单个SGR层添加到ResNet-101的不同阶段的变体 “SGR ConvBlock4”表示SGR层被添加到res4的最后一个残余块之前，而所有其他变量在res5的最后一个残余块之前添加SGR层（最终残余块）“SGR
2层）”直接融合来自两个SGRlayers之后的预测结果，并且最终确定最终预测这┅观察的一个可能的解释是最终res5可以编码更多语义抽象的特征，这更适合于进行符号图推理此外，通过比较“SGR（无余残差）”与我们的唍整SGR我们发现去除方程6中的残差连接会降低最终性能，但仍然优于其他基线原因在于SGR层通过全局推理引起更加平滑的局部特征，因此鈳能降低边界中的一些判别能力
语义到本地映射的效果。 请注意我们的SGR分别在本地到语义模块和语义到本地模块中学习不同的投票权偅和映射权重。 通过在表1和表4中的“测试性能和训练收敛”中比较“我们的SGR（ResNet-101）”和“SGR（w / o映射）”可以看出重新评估映射权重的优势。
這种对于新的语义到局部映射权重进行预测的过程可以更好地适应图形推理后的演化特征分布否则演化的符号节点将与局部特征不对齐。
不同的先验知识图如3.1节所述，我们的SGR层适用于任何形式的具有软边或硬边权重的知识图因此，我们评估了利用表1中的不同知识图的結果首先，类并发图通常用于表示出现在一个图像中的任何两个概念的频率其描绘了统计视图中的类间合理性。我们计算了Coco-Stuff上所有训練图像的类并发图并将其作为SGR层的输入，作为“SGR（并发图）”我们可以看到，并入一个并发驱动的SGR层也可以提高分割性能但是它略遜于概念层次结构。其次我们还依次将一个SGR层与层次结构图堆叠在一起，并将一个层与并发图堆叠在一起从而形成混合版本“Our
SGR（ResNet-101 Hybrid）”。该变体在所有模型中实现了最佳性能验证了利用知识约束的混合来提高语义推理能力的好处。最后我们进一步探索了一个丰富的场景图，其中包含用于编码高级语义的概念属性和关系，如“SGR（场景图）”变体在[24]之后，场景图是从Visual
Genome构建的[20]为简单起见我们只选择对潒类别，属性和谓词这些对象类别，属性和谓词至少出现30次并且与我们在Coco-Stuff中的目标182个概念相关联它导致一个带有312个对象节点，160个属性節点的无向??图
68个谓词节点。“SGR（场景图）”比“我们的SGR（ResNet-101）”略差但优于“SGR（并发图）”。从所有这些研究中观察我们因此通過平衡效率和有效性，将概念层次图用于所有其余实验
将SGR从一个域转移到其他域。 在从局部特征投票之后我们的SGR层自然地学习编码一般符号节点的显式语义含义，只有当这些域共享一个先行图时其权重才能容易地从一个域转移到其他域。 如图2所示我们可以使用在Coco-Stuff上預训练的SGR模型来初始化PASCAL-Context数据集上的训练。“我们的SGR（传输轮换）”仅表示使用预训练的残差块权重
而“我们的SGR（转移SGR）”是进一步使用SGR层參数的变体 我们可以看到，传递SGR层的参数可以比单独传输二维卷积运算符号块提供更多的改进
我们进一步研究了图像分类信息，其中包括50个训练图像和10个标记的100个类的CIFAR-100 [21]我们首先了解一下基线网络的性能，即DenseNet-100
[16]我们在最终密集块上附加SGR层，生成342个8×8大小的特征映射我們首先使用1×1二维卷积运算符号层将342-d特征减少到128-d，然后依次使用一个SGR层全局平均池和线性层来产生最终分类。具有148个符号节点的概念层佽图是通过将100个类映射到WordTree生成的类似于分段实验中使用的策略，包括在补充材料中我们将D1和Dc设置为128.在训练期间，我们在两个GPU上使用64的尛批量大小使用600个历元的余弦学习速率调度[16]。表5中的更多比较表明我们的SGR可以改善基线网络的性能，通过全局推理从增强功能中获益它采用最先进的方法获得了可比较的结果，并且模型复杂性相当低
针对全球图解的能力，我们引入了一个符号图形理论（SGR）层它可鉯帮助人们了解人类特征表征。 所提出的SGR层是通用的轻量级的并且与现有的二维卷积运算符号网络兼容，包括本地到语义投票模块图形推理模块和语义到本地映射模块。 对语义分割和一个图像分类数据集的三个公共基准的广泛实验证明了其卓越的性能 我们的研究设计鈳以帮助研究二维卷积运算符号网络的全局合理性，并为社区中的各种应用提供有益的帮助
点击联系发帖人
