SAE(Sparse Auto Encoder)作为Auto Encoder的一种,通过稀疏化激活的方式,常被用于从大语言模型中提取可解释的特征。但最近cocomix等一系列工作的出现又揭示了SAE作为Auto Encoder用于表征和预测的潜力。下面就简单介绍下SAE的原理以及和其他Auto Encoder的区别。 SAE的原理 SAE的原理图 相比于传统的Auto Encoder架构,SAE...
我是2023年10月开始关注到可以用 Sparse Autoencoder (SAE)来解释LLM的,到25年3月这一年半的时间里:(1) 训出了一系列基于Mistral-7b-inst的SAE模型;(2) 探索如何利用SAE的解释来提升LLM在生成任务的安全性和分类任务(e.g., Reward Modeling)的泛化性;(3) 参与了一篇SAE+LLM的survey。有人或许会问我为啥...
无监督学习-稀疏自动编码(Sparse Autoencoder) 在之前的博文中,我总结了神经网络的大致结构,以及算法的求解过程,其中我们提高神经网络主要分为监督型和非监督型,在这篇博文我总结下一种比较实用的非监督神经网络——稀疏自编码(Sparse Autoencoder)。 1.简介 上图是稀疏自编码的一般结构,最大的特点是输入层结点数(...
Elastic Learned Sparse Encoder(ELSER)作为Elastic推出的用于语义搜索的AI模型,正引领着这一领域的新发展。 ELSER简介 ELSER是Elastic训练和优化的一种文本扩展模型,它利用稀疏向量表示技术,实现了基于文本意图和上下文含义的搜索。与传统的词汇匹配或关键字查询相比,ELSER能够更深入地理解用户的搜索需求,从而返回更加相关、...
Elastic 的 Learned Sparse Encoder 使用文本扩展为简单的搜索查询注入含义并提高相关性。它捕捉了英语单词之间的语义关系,并基于这些关系扩展搜索查询,包括查询中不存在的相关术语。这比使用词汇评分 (BM25) 添加同义词更强大,因为它使用这种更深层次的语言尺度知识来优化相关性。不仅如此,上下文也被考虑在内,有助于消...
sparse_encoder_test_suite There was a bug in a plotting method due to the recent change. Fixed it. Sep 25, 2017 .gitignore Initial commit of test suite for sparse encoders. Dec 28, 2016 README.md Update README.md Jun 21, 2017 __init__.py Make it accessible from outside as a pa...
稀疏自编码器(Sparse Autoencoder)可以自动从无标注数据中学习特征,可以给出比原始数据更好的特征描述。在实际运用时可以用稀疏编码器发现的特征取代原始数据,这样往往能带来更好的结果。本文将给出稀疏自编码器的算法描述,并演示说明稀疏编码器自动提取边缘特征。
Sparse autoencoder 的一个网络结构图 如下所示: 损失函数的求法: 无稀疏约束时网络的损失函数表达式如下: 1 稀疏编码是对网络的隐含层的输出有了约束,即隐含层节点输出的平均值应尽量为 0, 这样的话,大部分的隐含层节点都处于非 activite 状态。因此,此时的 sparse autoencoder 损 失函数表达式为: 后面那项为...
下表显示了 Elastic Learned Sparse Encoder 与带有英文分词器的 Elasticsearch BM25 的性能比较,并按我们评估的 12 个数据集细分。我们取得了 10 胜 1 平 1 负的成绩,NDCG@10 的平均进步为 17%。 NDCG@10 用于 BM25 和 Elastic Learned Sparse Encoder 的 BEIR 数据集(上面称为“ELSER”,注意越高越好) ...
1.Sparse Coding:通俗的说,就是将一个信号表示为一组基的线性组合,而且要求只需要较少的几个基就可以将信号表示出来。而自然图像是个稀疏结构,即任何给定图像都可以用大数据里面的少数几个描述符(基)来表示。DL中的稀疏自编码器稀疏自编码器(Sparse Autoencoder)可以自动从无标注数据中学习特征,可以给出比原始数据...