端到端训练,每一部分都被优化2. 更好的效果 cons 1. LM的训练没有利用检索的数据2. retrieval model没有针对LM任务进行优化 1. 其中一个模块依旧被固定且没有被训练 1. 训练过程复杂2. 训练和测试依旧有差异 Reference acl2023-retrieval-lm.github.io...
^Mallen et al. 2023. “When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories” ^Borgeaud et al. 2022. “Improving language models by retrieving from trillions of tokens” ^Asai et al. 2021. “One question answering model for many languages with...
而检索增强的语言模型通过给语言模型挂载一个外部知识库,在语言模型进行生成的同时也在知识库中检索相关文档,以此来对语言模型的生成进行辅助。 Retrieval-based LMs概念图 然而,现有的(全参数)大语言模型已经展现出了强劲的性能。我们为什么要使用检索增强的语言模型?以及检索增强的语言模型能够解决常规语言模型怎样的缺陷?
本文主要是对 ACL 2023 Tutorial: Retrieval-based Language Models and Applications部分的Section 3: Retrieval-based LMs: Architecture进行梳理总结Roadmap检索式LM的分类nearest-neighbor LMretrieve and rea…
NPM (Min et al., 2023) 常识推理(Commonsense reasoning) Raco (Yu et al, 2022) How to adapt a retrieval-based LM for a task Fine-tuning Reinforcement learning Prompting When to use a retrieval-based LM 长尾:针对长尾效果欠佳(long tail) Large Language Models Struggle to Learn Long-Tail ...