然而,LLM的部署和使用成本高昂,且存在隐私数据泄露的风险,这使得LLM在一些实际场景中的应用受到了限制。 为了解决这些问题,埃默里大学(Emory)大学的研究团队提出了一种通过知识蒸馏将LLM的能力转移到本地图模型的方法,该方法创新性地结合了LLM的推理能力与GNN的结构化学习能力,通过将LLM生成的详细推理过程转化为图模型能...
在人工智能的迅速发展中,大语言模型(LLM)凭借其在自然语言处理领域的卓越表现,吸引了大量研究者的关注。最近,埃默里大学的研究团队在国际知名会议CIKM 2024上发布了一项创新性研究,展示了将LLM蒸馏到图神经网络(GNN)的核心技术,成功解决了数据稀缺和隐私保护等难题。这一研究开辟了文本属性图(Text-Attributed Graph, TA...
框架的亮点包含: 1. 提出双阶段图指导调教范式,依次进行自监督图匹配任务调教和下游任务特定调教,使LLM逐步掌握图结构知识。 2. 设计轻量级图文对齐投影器,将编码后的图表示映射为图令牌,注入结构信息。 3. 基于对比的图文对齐机制,将图表示对齐到语言空间。 4. 引入链条思维知识蒸馏,增强模型的逐步推理能力。实验...
最近,有大量的研究探索GNN和LLM的耦合结构。本文旨在预训练一个框架,它可以通过利用丰富的文本特性来结合图结构和LLM。因此本文创造地提出利用GNN作为适配器(Adapter),其优势如下: 轻量级:一个GNN适配器引入了一些可训练的参数和较低的计算成本。 语言感知图预训练: 利用语言监督图结构的建模,帮助LLM理解文本信息和结...
能发顶会!GNN结合大模型三大创新思路!LLMs在处理NLP任务方面表现出色,而GNNs在挖掘和分析复杂关系数据(图数据)方面展现出其卓越的能力。这种趋势催生了将这两种技术整合的研究兴趣,为解决更多领域的实际问题。GNN结合LLMs也逐渐成 - 一见你就欢喜于20240313发布在抖音
与LLMs不同,GNNs可以严格地在任务图上操作,从而避免产生幻觉(hallucination)。此外,GNNs利用图结构作为输入,而不是将图展平为序列,从而克服了前面讨论的理论局限性。 具体来说,本文考虑了training-free和基于training-based两种方法。 对于training-free的方法,本文采用了参数无关的GNN,即简化图卷积(Simplified Graph ...
与 GNN 相比,LLMs 展示了强大的零样本/少样本能力,并拥有广泛的开放世界知识。这一独特的特性使 LLMs 能够直接利用节点信息进行预测,而不依赖于大量的标注数据。因此,研究人员探索使用 LLMs 生成注释或预测,减轻了图机器学习中对人类监督信号的依赖。根据图数据中结构信息的处理方式,我们将这些方法分为以下三类:...
凯斯西储大学(Case Western Reserve University)助理教授 Xiaotian Han 博士招募2025Spring/Fall全奖博士,研究方向为探索高校LLMs、理解LLMs和图基础模型。 研究方向 1. Efficient LLM: optimizing architecture, enhancing long context, … 2. Understanding LLM: understanding position embedding, understanding alignment,...
Paper: Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text Attributed Graph Representation Learning (ICLR 2024) The paper uses the power of an LLM to get a meaningful explanation, which is then used to fine-tune a smaller LM+GNN. Really interesting paper. Would be great to have ...
目前,GNN结合LLMs主要有三大创新方向:LLM作为增强器、LLM作为预测器和GNN-LLM对齐。GraphGPT就属于LLM作为预测器这类。 本文整理了这三大创新方向最新的代表性成果(共16篇),模型原文以及开源代码已附,方便各位复现。 论文原文以及开源代码需要的同学关注“学姐带你玩AI”公号(不懂的看我主页签名),那边回复“大模型...