在本文中，我们以推荐系统为核心、以工业应用为视角出发，全面综述调研大语言模型在推荐系统领域的应用和挑战。如上图所示，我们从两个核心问题出发，去分析该研究方向（LLM+RS）的进展：何处运用大语言模型（Where to Adapt LLM)如何运用大语言模型（How to Adapt LLM）针对上述两个问题的讨论和分析，我们分别总结...
预训练语言模型(PLM)的出现在自然语言处理(NLP)领域取得了巨大的成功,它通过在大规模语料库上进行自监督学习,学习到了通用的表示方法。预训练模型和学到的表示对一系列下游NLP任务都有益处。最近,这种训练范式已经被应用到推荐领域,并被学术界和工业界视为一种有前途的方法。本文系统地研究了如何从不同的PLM相关训...
个人一直觉得LLM在工业界推荐系统大部分情况还是离线应用,生成一些特征或者文本。至于其直接用作召回和排序模块,个人对这块的观点一直是比较悲观的。出于两点考虑:1)推理耗时问题,大模型的推理耗时难以满足推荐系统快速响应的体验要求;2)基于ID和用户行为推荐体系是语言模型难以学习的。但是,Meta的《Actions Speak Louder ...
尽管取得了上述成就,但大多数现有的先进推荐系统仍面临一些内在局限。首先,由于模型规模和数据大小的限制,以往用于推荐系统的基于 DNN 的模型(如 CNN 和 LSTM)和预训练的语言模型(如 BERT)无法充分捕捉用户和项目的文本知识,这表明它们的自然语言理解能力较差,从而导致在各种推荐场景中的预测性能不理想。其次,现有的大...
TLDR: 本文综述了最近使用大语言模型技术来增强推荐系统的相关工作,主要是将当前工作分为预训练(Pre-training)、微调(Fine-tuning)和提示(Promoting)的角度来进行介绍。
提示范式则涉及三种主流方法——In-context learning、Prompt tuning和Instruction tuning，旨在利用大模型在特定任务上的指导和适应能力。综述还探讨了大模型增强推荐系统领域的未来发展方向，包括大模型中的幻觉缓解技术、可信大模型推荐系统、特定垂直领域的大模型应用等。这些方向的探索将为推荐系统带来更广泛...
预训练语言模型(PLM)的出现在自然语言处理(NLP)领域取得了巨大的成功,它通过在大规模语料库上进行自监督学习,学习到了通用的表示方法。预训练模型和学到的表示对一系列下游NLP任务都有益处。最近,这种训练范式已经被应用到推荐领域,并被学术界和工业界视为一种有前途的方法。本文系统地研究了如何从不同的PLM相关训...
1. 突破传统定位,重塑推荐流程:通过对 Where 问题的分析,我们总结认为,伴随着参数规模上升带来的涌现能力(逻辑推理、指令跟随),大语言模型在推荐系统中扮演的角色开始逐渐突破传统定位,从简单的编码器、打分器向外扩展延伸,在特征工程、乃至推荐流程控制都发挥重要作用,能够完成用户意图推断、知识延展外推等传统模型难以...
1. 突破传统定位,重塑推荐流程:通过对 Where 问题的分析,我们总结认为,伴随着参数规模上升带来的涌现能力(逻辑推理、指令跟随),大语言模型在推荐系统中扮演的角色开始逐渐突破传统定位,从简单的编码器、打分器向外扩展延伸,在特征工程、...
本文以推荐系统为核心,以工业应用为视角,从 Where 和 How 两个角度出发,概括总结了大语言模型在推荐系统领域的应用与挑战。针对在何处运用语言大模型的问题,作者认为要突破传统定位,重塑推荐流程,在如何运用大模型方面,经过研究团队发现需要通过微调大语言模型(数据层面)或引入传统推荐模型(模型层面)的方式来为语言模型...