有效融合语言模型、图神经网络，文本图训练框架GLEM实现新SOTA

• 主要单位：蒙特利尔算法学习人工智能实验室（Mila）、微软亚洲研究院等
• 论文地址：https://arxiv.org/abs/2210.14709
• 代码地址：https://github.com/andyjzhao/glem

引言

图 1：(a) 文本图 (b) 图神经网络 (c) 语言模型

图是一种普遍的数据结构，建模了节点之间的结构关系。在现实生活中，许多节点包含丰富的文本特征，这种图被称为文本图 (text-attributed graph [2])。例如，论文引用网络中包含了论文的文本和论文之间的引用关系；社交网络中包含了用户的文本描述和用户直接的交互关系。在文本图上的表示学习模型，可以应用于节点分类、链路预测等任务中，具有广泛的应用价值。

文本图包含了两方面信息：节点的文本信息和节点之间的图结构信息。传统文本图的建模可以分为对文本建模和对图建模两个角度。其中，对文本的建模方式（如图 1.b 所示）通常采用基于 Transformer 的语言模型（LM）得到单个节点的文本表示，并对目标任务进行预测；对图建模的建模方式（图 1.c 所示）通常采用图神经网络（GNN），通过消息传播机制来建模节点特征之间的交互，并预测目标任务。

然而，两种模型只能分别建模文本图中的文本和图结构：传统语言模型无法直接考虑结构信息，而图神经网络无法直接对原始文本信息进行建模。为了同时建模文本和图结构，研究者们尝试将语言模型和图神经网络融合起来，同时更新两个模型的参数。但是，现有工作 [2, 3] 无法同时建模大量邻居文本，可拓展性差，无法应用在大文本图上。

GLEM 框架

为了更有效的融合图神经网络和语言模型，本文提出了 Graph and  Language Learning by Expectation Maximization (GLEM) 框架。GLEM 框架基于变分期望最大算法（Variational EM），交替学习图神经网络和语言模型，从而获得了很好的可拓展性。

图 2：GLEM 框架

具体地，以节点分类任务为例，在 E 步 ， GLEM 根据真实标签和图神经网络预测的伪标签训练语言模型；在 M 步 ， GLEM 根据真实标签和语言模型预测的伪标签训练图神经网络。通过这种方式，GLEM 框架有效挖掘了局部的文本信息和全局的结构交互信息。通过 GLEM 框架训练好的图神经网络（GLEM-GNN）和语言模型（GLEM-LM）都可以用来预测节点标签。

实验

论文的实验部分主要从以下几个方面讨论 GLEM 框架：

• 有效性：GLEM 模型能够有效融合图神经网络和语言模型，对两种模型都有明显提升。GLEM 框架在 OGB 的三个文本图节点分类任务上取得了第一名。
• 可扩展性：通过交替训练图神经网络和语言模型，GLEM 框架可以同时训练大语言模型和深层 GNN。
• 无结构归纳推理（Structure-free inductive）能力：传统 GNN 模型在面对没有图结构的新节点时表现不佳。相比之下，GLEM-LM 仅使用文本特征（无需图结构）就能进行有效推理。
• 模型收敛：GLEM 使用 EM 迭代算法，在一些数据集上一次 EM 迭代即可收敛。

图 3：GLEM 框架在 OGBN-arxiv, products, papers100M 数据集上取得第一名