与此同时,以 ChatGPT 和 GPT4 为代表的大型语言模型(LLMs)的出现给自然语言处理(NLP)和人工智能(AI)领域带来了革命性的变化,因为它们在语言理解和生成的基本职责方面能力出众,并具有令人印象深刻的泛化和推理能力。因此,最近的研究试图利用 LLM 的力量来增强推荐系统。
此综述将LLM视为基于Transformer的模型,这种模型参数众多,通过使用自/半监督学习技术在大规模数据集上进行训练,例如BERT,GPT系列,PaLM系列等。与传统的推荐系统不同,基于LLM的模型擅长捕获上下文信息,更有效地理解用户查询、项目描述和其他文本数据[Geng等人,2022]。通过理解上下文,基于LLM的推荐系统(RS)可以提高推荐的...
从图中我们可以清晰地看到一条性能边界线,即第3象限的工作显著弱于第1、2、4象限,这说明虽然大语言模型具备庞大的开放世界知识和逻辑推理能力,但推荐系统是一个知识高度专有化的领域,因此我们仍然需要通过微调大语言模型(数据层面)或引入传统推荐模型(模型层面)的方式来注入推荐的领域知识,进而和大语言模型的能力相...
大型语言模型(LLM)在自然语言处理领域取得了显著的突破,而推荐系统(RecSys)作为现代互联网的核心技术之一,也一直备受关注。近年来,随着深度学习技术的发展,LLM开始应用于推荐领域,为解决推荐算法中的冷启动、精度提升等问题提供了新的思路。一、技术原理LLM4Rec的基本原理是通过语言模型理解用户和物品的语义信息,从而进...
在本文中,我们以推荐系统为核心、以工业应用为视角出发,全面综述调研大语言模型在推荐系统领域的应用和挑战。 如上图所示,我们从两个核心问题出发,去分析该研究方向(LLM+RS)的进展: 1.何处运用大语言模型(Whereto Adapt LLM) 2....
在介绍完 LLM+RS 研究工作的详细分类后,我们从效率(efficiency)、效益(effectiveness)、伦理(ethics)三个角度总结了研究方向的五个挑战。 4.1 训练效率 工业推荐系统维持良好性能有两大要素,一是大量的训练数据(上亿规模),二是高频率的模型更新小时级别甚至分钟级别)。但大语言模型的引入固然带来了优势(开放世界知识...
推荐流程控制: 把控上述推荐系统整体流程,也可细化到对排序阶段的召回/粗排/精排的控制。 2.1 LLM在特征工程阶段的应用 在特征工程阶段,我们旨在利用大语言模型蕴藏的开放世界知识和逻辑推理能力,对原始数据进行后加工和数据增强,生成新的辅助文本信息来提升后续推荐模型的性能。例如,GENRE [1] 利用大语言模型完成用户...