2.1 AN OVERVIEW OF LLM-GNN 提出的LLM-GNN流程设计包含四个灵活的组件,如上图所示: (1)难度感知的活跃节点选择,(2)置信度感知的标注,(3)可选的后过滤,以及(4)GNN模型的训练和预测。 (1)活跃节点选择阶段旨在确定LLM标注的候选节点集。虽然最初仅考虑了多样性和代表性作为原始基线,但本研究进一步关注了对标...
框架的亮点包含: 1. 提出双阶段图指导调教范式,依次进行自监督图匹配任务调教和下游任务特定调教,使LLM逐步掌握图结构知识。 2. 设计轻量级图文对齐投影器,将编码后的图表示映射为图令牌,注入结构信息。 3. 基于对比的图文对齐机制,将图表示对齐到语言空间。 4. 引入链条思维知识蒸馏,增强模型的逐步推理能力。实验...
大型语言模型中,将任务规划形式化为图决策问题,并利用图神经网络(GNN) 增强LLM对任务图的理解和决策能力,从而提升任务分解和规划精度,并在多个数据集上的实验结果优于传统方法。 论文介绍 LLM 研究中,任务规划(task planning)在语言agent中越来越受到关注,其重点在于将复杂任务分解成可管理的子任务,并以图的形式排列...
然而,LLM的部署和使用成本高昂,且存在隐私数据泄露的风险,这使得LLM在一些实际场景中的应用受到了限制。 为了解决这些问题,埃默里大学(Emory)大学的研究团队提出了一种通过知识蒸馏将LLM的能力转移到本地图模型的方法,该方法创新性地结合了LLM的推理能力与GNN的结构化学习能力,通过将LLM生成的详细推理过程转化为图模型能...
目前,GNN结合LLMs主要有三大创新方向:LLM作为增强器、LLM作为预测器和GNN-LLM对齐。GraphGPT就属于LLM作为预测器这类。 本文整理了这三大创新方向最新的代表性成果(共16篇),模型原文以及开源代码已附,方便各位复现。 扫码添加小享,回复“大模型GNN” 免费获取全部论文+开源代码 ...
与 GNN 相比,LLMs 展示了强大的零样本/少样本能力,并拥有广泛的开放世界知识。这一独特的特性使 LLMs 能够直接利用节点信息进行预测,而不依赖于大量的标注数据。因此,研究人员探索使用 LLMs 生成注释或预测,减轻了图机器学习中对人类监督信号的依赖。根据图数据中结构信息的处理方式,我们将这些方法分为以下三类:...
简介:【9月更文挑战第17天】在CIKM 2024会议上,Emory大学的研究人员提出了一种创新框架,将大型语言模型(LLM)的知识蒸馏到图神经网络(GNN)中,以克服文本图(TAGs)学习中的数据稀缺问题。该方法通过LLM生成文本推理,并训练解释器模型理解这些推理,再用学生模型模仿此过程。实验显示,在四个数据集上性能平均提升了6.2%...
在人工智能领域,大语言模型(LLM)以其强大的自然语言处理能力,一直备受研究者的瞩目。然而,LLM的部署成本高昂且存在隐私泄露的风险,这限制了其在某些实际场景中的应用。与此同时,图神经网络(GNN)在处理文本属性图(TAG)学习中发挥了重要作用,但同样面临着数据稀缺和训练成本高的挑战。近日,在国际知名会议CIKM 2024上,...
The implementation of LLM-GNN faces a unique challenge: how can we actively select nodes for LLMs to annotate and consequently enhance the GNN training? How can we leverage LLMs to obtain annotations of high quality, representativeness, and diversity, thereby enhancing GNN performance with less ...
LLM蒸馏到GNN,性能提升6.2%!Emory提出大模型蒸馏到文本图|CIKM 2024 Emory 大学的研究团队提出了一种创新的方法,将大语言模型(LLM)在文本图(Text-Attributed Graph, 缩写为 TAG)学习中的强大能力蒸馏到本地模型中,以应对文本图学习中的数据稀缺、隐私保护和成本问题。通过训练一个解释器模型来理解 LLM 的推理过程,...