🛩️

跨图注意力机制

创建时间
Oct 9, 2022 11:09 AM
简介:
图相似度学习中三篇论文中的跨图注意力机制
标签
Paper
状态

GMN:Graph Matching Networks for Learning the Similarity of Graph Structured Objects

notion image

邻域节点信息传递

  • 通过边传递图1和图2的节点信息,将节点信息导入多层感知机进行软底
notion image

跨图节点匹配信息获取

  • 获取图1中的节点i和图2中节点j的匹配信息
notion image
  • 获取图1中的节点i和图2中节点j的相似度度量在所有与图2节点中相似度度量之和的占比
notion image
  • 图1中节点i和图2中的节点j的不相似之处乘以注意力系数
notion image
  • 图1中节点i与图2中所有节点j的不相似之处乘以注意力系数的累加,可以看作图2是如何看待图1中的节点i的
notion image

邻域信息和跨图信息聚合

  • 将节点信息、节点i的邻域信息和跨图节点匹配信息传入多层感知器,获取节点i的下一层表示
notion image

节点嵌入池化为图级嵌入

  • 将图1和图2中的节点嵌入,通过合理的池化机制,转化为图级嵌入
notion image

图级嵌入相似度计算

  • 通过合理的度量计算图级嵌入的相似度
notion image

MGMN:Multilevel Graph Matching Networks for Deep Graph Similarity Learning

图卷积获取节点嵌入

  • 使用图卷积网络将邻接矩阵和初始节点特征转化为节点嵌入,在训练输入的G1和G2图时,孪生网络共享权重矩阵参数
notion image

注意力系数计算

  • 使用cosine度量函数计算图1和图2中点的相似度,作为注意力系数
notion image

节点对应的图级注意力表示

  • 图1中节点i和图2中所有节点表示的相似度乘以图2中所有节点表示的累加,构成了节点i对应的图级注意力表示,可理解为图2是如何看待节点i的
notion image

多角度跨图匹配机制

  • 将节点表示和对应的图级注意力表示分别乘d维的可学习权重向量,然后再通过度量函数比较,可获取节点和图级表示的跨图交互特征
notion image
notion image

LSTM池化层

  • 通过LSTM将图中的所有跨图交互特征向量池化维图级向量
notion image

预测层

  • 通过cosine度量和内积度量,获取图级向量的相似度,并分别执行分类 任务和回归任务
notion image
notion image

H2MN:Graph Similarity Learning with Hierarchical Hypergraph Matching Networks

超图获取节点嵌入

  • 通过超图神经网络,将初始节点特征转化为节点嵌入
notion image

注意力系数计算

  • 使用cosine度量函数计算图1和图2隔间点的相似度,作为注意力系数
notion image

节点对应的图级注意力表示

  • 节点i和节点j注意力系数的占比乘以节点j的表示的累加,构成了节点i对应的图级注意力表示,可理解为图2是如何看待节点i的
notion image

多角度跨图匹配机制

  • 将节点表示和对应的图级注意力表示分别乘d维的可学习权重向量,然后再通过度量函数比较,可获取节点和图级表示的跨图交互特征
notion image

注意力机制池化层

  • 将每层的节点交互嵌入通过注意力机制进行池化,获取第k层的图级嵌入
notion image
  • 将各层的图对嵌入进行连接,获取第i个图对嵌入
notion image

预测层

  • 通过cosine度量和内积度量,获取图级向量的相似度,并分别执行分类 任务和回归任务
notion image

总结

  • 三种跨图注意力机制中,H2MN和MGMN相似,都是先获取对于节点i的注意力图级嵌入,然后多角度比较节点i嵌入和注意力图级嵌入,可理解为自己本身和别人眼中的你的交互;不同之处是H2MN的注意力系数是比值和为1,而MGMN中的注意力系数为相似度
  • GMN也是计算了注意力系数的比值,但没有使用多角度匹配,只是将节点i与图2的各个节点的差异根据注意力系数的比值进行累加