论文地址：https://arxiv.org/abs/2205.10803
生成式自监督模型在NLP和CV领域得到广泛应用，而在graph领域对比学习占据主导地位，不论是节点分类还是图分类任务，生成式自监督的性能都被对比学习甩“几条街”。虽然如此，对比学习却有着致命缺陷，它要么过度依赖于数据增广，要么需要使用负采样、动量更新或指数滑动平均等策略来避免训练时陷入平凡解。而生成式自监督，特别是图自编码器通常目标是重建图自身的节点特征或结构信息，则会完全规避对比学习的局限。本文发现利用图自编码器，稍加改进，仅仅重建节点特征便能够获得优越的性能。GraphMAE的改进如下图所示：
概括地讲，改进主要是四点：1，掩码特征重建，不重建边；2，不同于大多数图自编码器使用的均方误差，GraphMAE使用缩放余弦误差作为损失函数；3，将编码器输出的嵌入重新掩码后再输入到解码器中；4，比起大多数图自编码器的解码器用多层感知机，GraphMAE的解码器使用图神经网络。
GraphMAE在无监督节点分类、无监督图分类以及在分子性质预测上的迁移学习三个任务共21个数据集上取得了与对比学习差不多，甚至是更好的效果。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
相关文章
暂无评论...
这是一个专注于人工智能产品的导航站。
