今日应用
今日话题
ICML 2024｜全新图卷积！Mila和华为提出CKGConv：连续卷积核的图卷积网络
重点标签 图卷积网络、图Transformer、注意力机制、连续卷积核、图神经网络
文章摘要
近年来，基于Transformer的图模型（图Transformer）因其通过全局注意力机制聚合全图所有其他节点信息的能力，有效克服了传统图神经网络（MPNN）的一些限制，如过度挤压、过度平滑和有限的表征能力，而在视觉领域受到了广泛关注。然而，也有研究者质疑注意力机制和Transformer是否是唯一的解决方案。在图学习领域，一些研究者开始探索不依赖注意力机制的图卷积网络（Graph ConvNet），以期达到与图Transformer相媲美的性能。
在ICML2024上，麦吉尔大学、Mila魁北克人工智能研究所和华为诺亚方舟实验室的研究者提出了一种基于连续卷积核的全新图卷积算子——图连续卷积CKGConv。这种算子的纯图卷积网络（CKGCN）在多个图任务中展现出与SOTA图Transformer相当的表现。研究表明，注意力机制并非发展图神经网络的唯一路径，图卷积网络同样具有其独特的优势。
CKGConv的核心思想是利用图位置编码（PE）定义图的伪坐标系，将卷积核视为一个由相对位置映射到卷积系数的连续函数，并通过神经网络实现这一映射。这种方法克服了传统图卷积的局限性，如过度平滑和过度挤压，同时具备了处理异构图信号的能力。
CKGConv具有以下性质：
1. 不局限于特定的图位置编码，可以与其他常见的图位置编码如电阻距离和最短路径距离结合使用。
2. 支持任意定义的卷积核大小，可以进行可变大小的全局图卷积运算。
3. 从理论上证明，CKGConv具有与图Transformer相当的结构表征能力。
此外，CKGConv与注意力机制相比，具有以下优势：
– CKGConv的权重仅基于图结构，不会因输入信号变化而变化，卷积核可以同时具有正负系数。
– 通过消融实验发现，限制CKGConv卷积核系数为非负并加和为一时，性能会受到影响。
CKGConv在实际应用中展现出了抵抗过度平滑问题和检测异配图信号的能力。例如，在重构图上点信号的实验中，CKGCN能够抵抗过度平滑问题，即使在深层网络中也能保持性能。此外，CKGConv在检测异配信号的实验中表现优于传统的图卷积网络。
研究者还尝试了将CKGConv与图注意力机制结合，通过集成CKGCN和图Transformer（GRIT）模型，在ZINC数据集上取得了更好的性能。这表明CKGConv和注意力机制可能具有互补性，为未来图模型的发展提供了新的方向。
总结来说，CKGConv作为一种新型的图卷积算子，不仅在理论上具有与图Transformer相当的性能，而且在实际应用中展现出了独特的优势。通过构造符合排列不变的图伪坐标系，CKGConv克服了传统图卷积的局限性，并为图神经网络的发展提供了新的可能性。同时，CKGConv与注意力机制的结合也为图模型的进一步研究提供了新的思路。
文章来源
原文地址: 点我阅读全文
原文作者: 极市平台
相关文章
