该文章主要集中在外部幻觉Extrinsic hallucination。为了避免幻觉,LLM需要 (1) 实事求是,(2) 在需要的时候承认自己不知道答案。 2、幻觉原因 如果微调的知识和预训练的知识不一致的话,更容易导致模型幻觉。 2.1 预训练数据问题 预训练数据包含了错误数据(网上爬取的数据存在过失、缺失和错误),模型记住了这些错误数据...
>> 背景和痛点:LLMs中的幻觉指生成不真实、虚构(或捏造)、不一致或无意义的内容。这种现象被称为幻觉(hallucination)。这种现象可以分为两类:上下文幻觉(模型输出应该与上下文中的源内容一致)、外部幻觉(模型输出应该基于预训练数据集)。然而,由于预训练数据集的规模庞大,每次生成时检索和识别冲突非常昂贵。我们希望...
>> 背景和痛点:LLMs中的幻觉指生成不真实、虚构(或捏造)、不一致或无意义的内容。这种现象被称为幻觉(hallucination)。这种现象可以分为两类:上下文幻觉(模型输出应该与上下文中的源内容一致)、外部幻觉(模型输出应该基于预训练数据集)。然而,由于预训练数据集的规模庞大,每次生成时检索和识别冲突非常昂贵。我们希望...