本文主要介绍了一种名为"Inference-Time Intervention (ITI)"的技术,目的是提高大型语言模型的真实性。该技术通过在推理过程中改变模型激活,使激活朝着更加真实的方向移动。ITI技术显著提高了LLaMA模型在TruthfulQA基准测试中的性能。文章还提出了对ITI的优化和应用,并与其他基线方法进行比较和分析。 ·实验背景: 1. ...
2、ITI实现 从图中我们可以了解到,Inference-Time intervention做的事是调整MHA中部分头的输出,之前我写的MHA都是先用一层全连接再加上reshape,这里的操作有一点点不一样,对于每一个token(shape=[1, D·H]),先使用全连接变为[1, D],然后进行MHA操作(MHA输出结果记为Y0),之后再用全连接变回[1, D·H...
We propose Inference-Time Intervention (ITI): shifting the activations along the difference of the two distribution means during inference time; model weights are kept intact.The same intervention process is repeated for generation of each token autoregressively. Here’s an example. For the same ...
This repository provides the code for the paper Inference-Time Intervention: Eliciting Truthful Answers from a Language Model. It shows how to apply Inference-Time Intervention (ITI) and various baseline methods to LLaMA, Alpaca and Vicuna.
首先排名的真实相关性的所有注意头的探测精度验证集。把前K头作为目标集合。然后,使用来自训练集和验证集两者的激活,估计沿着真实方向的激活的标准偏差为σlh。ITI(Inference-Time Intervention)是MHA(Multi-Head Attention)的替代形式,其中: 对于未选择的注意头,θ是零向量。这相当于将激活沿着真实方向偏移α倍标准差...
完整标题:Inference-Time Intervention: Eliciting Truthful Answers from a Language Model 出处:NIPS‘23 哈佛大学 这篇文章阐明了中间层信息和输出层信息之间可能存在差距,即LLM再从中间层过渡到输出层时激活空间中的方向偏离了真实方向。因此,作者提出了一种干预方法,根据激活空间中向量的方向和真实方向之间差距之间的...
aliases: ['Inference-Time Intervention: Eliciting Truthful Answers from a Language Model', ITI] author: Kenneth Li, Oam Patel, Fernanda Vi\'egas proceeding: '' publish_date: '2023-06-06 08:00:00' readpaper: readpaper.com/pdf-annot