BERT-avg BERT-avg实现了 使用CLS-token最后一层的输出作为embedding(没有用BERT做NSP任务得到的CLS-pooling层) 使用第一层和最后一层的输出求平均作为embedding Bert-Whitening 把STS-B训练集输入BERT,用第一层和最后一层的输出求平均得到句子的embeddings,然后计算得到u和变换矩阵W保存下来。 预测时先得到句子的emb...
一个是苏剑林的Keras版本:https://github.com/bojone/BERT-whitening 一个是Pytorch版本:https://github.com/autoliuweijie/BERT-whitening-pytorch 我看了一遍Pytorch版本,主要的细节点我罗列在下面; 首先就是下载数据和下载一些英文预训练模型。 之后就是跑代码,分为三种方向: 第一种就是不使用白化的方式,直接在...
代码:https://github.com/bojone/BERT-whitening 核心思路 出发点:在句向量维度,通过一个白化的操作直接校正局向量的协方差矩阵。 解决方式: PCA白化,并且可以降维实现更好的效果。 将句向量进行标准化映射,即白化操作: 均值与协方差矩阵计算方式如下: 代码如下: def compute_kernel_bias(vecs): """计算kernel和...
代码:https://github.com/bojone/BERT-whitening 核心思路 出发点:在句向量维度,通过一个白化的操作直接校正局向量的协方差矩阵。 解决方式: PCA白化,并且可以降维实现更好的效果。 将句向量进行标准化映射,即白化操作: \tilde{\boldsymbol{x}}_i=\left(\boldsymbol{x}_i-\boldsymbol{\mu}\right) W 均值...
6、Bert-whitening 去除特征间的相关性和让所有特征具有相同的均值和方差。7、SimCSE和ESimCSE 通过对比...
BERT-flow的工作就是将原来的分布校准为高斯分布。标准的高斯分布就是各向同性的。类似的还有whitening操作...
代码：https://github.com/bojone/BERT-whitening 核心思路 出发点：在句向量维度，通过一个白化的操作...
根据一个csv文本的数据集先构建Faiss索引库，然后输入文本，输出相似的文本。开源代码在这里：...