这篇论文主要介绍了一种名为PMET(Precise Model Editing in a Transformer)的新技术,用于修改大型语言模型(LLM),以提高其精度和效率。PMET技术的核心思想是通过编辑模型中的事实知识来改进其性能。具体来说,PMET技术通过以下步骤实现: 1. 从外部知识库中获取一组与模型相关的事实知识。 2. 将这些事实知识添加到...
Model editing techniques modify a minor proportion of knowledge in Large Language Models (LLMs) at a relatively low cost, which have demonstrated notable success. Existing methods assume Transformer Layer (TL) hidden states are values of key-value memories of the Feed-Forward Network (FFN). They...
paper: https://arxiv.org/pdf/2308.08742v2.pdfTL,DR: 在MEMIT 的基础上,加了一点点微小的改动。 对比之前的方法直接对输出的 h 进行处理,获得需要编辑的量。这篇文章分别对 MHSA 的输出与 FFN 的输出进行处理…