2、ITI实现 从图中我们可以了解到,Inference-Time intervention做的事是调整MHA中部分头的输出,之前我写的MHA都是先用一层全连接再加上reshape,这里的操作有一点点不一样,对于每一个token(shape=[1, D·H]),先使用全连接变为[1, D],然后进行MHA操作(MHA输出结果记为Y0),之后再用全连接变回[1, D·H...
本文主要介绍了一种名为"Inference-Time Intervention (ITI)"的技术,目的是提高大型语言模型的真实性。该技术通过在推理过程中改变模型激活,使激活朝着更加真实的方向移动。ITI技术显著提高了LLaMA模型在TruthfulQA基准测试中的性能。文章还提出了对ITI的优化和应用,并与其他基线方法进行比较和分析。 ·实验背景: 1. ...
This repository provides the code for the paper Inference-Time Intervention: Eliciting Truthful Answers from a Language Model. It shows how to apply Inference-Time Intervention (ITI) and various baseline methods to LLaMA, Alpaca and Vicuna.
Paper tables with annotated results for Bridging the Language Gaps in Large Language Models with Inference-Time Cross-Lingual Intervention
ITI(Inference-Time Intervention)是MHA(Multi-Head Attention)的替代形式,其中: 对于未选择的注意头,θ是零向量。这相当于将激活沿着真实方向偏移α倍标准差。对于每个下一token预测自回归地重复该过程,并且该过程与解码算法的选择正交。 干预参数K和α。本文的方法包含两个关键参数:K ∈ N+,干预发生的头数,α∈...
完整标题:Inference-Time Intervention: Eliciting Truthful Answers from a Language Model 出处:NIPS‘23 哈佛大学 这篇文章阐明了中间层信息和输出层信息之间可能存在差距,即LLM再从中间层过渡到输出层时激活空间中的方向偏离了真实方向。因此,作者提出了一种干预方法,根据激活空间中向量的方向和真实方向之间差距之间的...