Paper 名称:Whitening Sentence Representations for Better Semantics and Faster RetrievalPaper 地址:arxiv.org/abs/2103.1531Paper 代码:github.com/bojone/BERT-Paper 作者:Jianlin Su1, Jiarun Cao1, Weijie Liu2, Yangyiwen Ou1Paper 信息:arxiv 2021 1. 简介 1.1. 论文介绍 大家都知道,BERT 等预训练模型在...
作者通过引入白化操作（Whitening Transformation），探索了提升句子表示各向同性与维数降低的策略，从而显著改善语义相似度计算、存储成本与检索效率。白化操作是传统机器学习中用于处理数据分布问题的技术，本文将其应用于BERT的句子表示，以解决存在的各向异性问题，从而优化相似度计算。在句子向量的计算中，仅对...