CoSENT:比Sentence-BERT更有效的句向量方案 - 科学空间|Scientific Spaceskexue.fm/archives/8847 学习句向量的方案大致上可以分为无监督和有监督两大类,其中有监督句向量比较主流的方案是Facebook提出的“InferSent”,而后的“Sentence-BERT”进一步在BERT上肯定了它的有效性。然而,不管是InferSent还是Sentence-BERT...
学习句向量的方案大致上可以分为无监督和有监督两大类,其中有监督句向量比较主流的方案是 Facebook 提出的“InferSent”[1],而后的“Sentence-BERT”[2]进一步在 BERT 上肯定了它的有效性。然而,不管是 InferSent 还是 Sentence-BERT,它们在理论上依然相当令人迷惑,因为它们虽然有效,但存在训练和预测不一致的问题,...
探索句向量构建方案，主要分为无监督和有监督两大类。有监督句向量中，Facebook的“InferSent”和“Sentence-BERT”在BERT上进一步肯定了其有效性。然而，这些方案在理论上有一定迷惑性，它们虽然有效，但在训练与预测阶段存在不一致性。优化预测目标cos值的效果通常较差。经过深入研究，本文提出“CoSENT（Co...
比Sentence-BERT更有效的句向量方案 介绍 博客:https://kexue.fm/archives/8847 数据:https://github.com/bojone/BERT-whitening/tree/main/chn 效果 train训练、test测试: ATECBQLCQMCPAWSXSTS-BAvg BERT+CoSENT49.7472.3878.6960.0080.1468.19 Sentence-BERT46.3670.3678.7246.8666.4161.74 ...
学习句向量的方案大致上可以分为无监督和有监督两大类,其中有监督句向量比较主流的方案是 Facebook 提出的“InferSent”[1],而后的“Sentence-BERT”[2]进一步在 BERT 上肯定了它的有效性。然而,不管是 InferSent 还是 Sentence-BERT,它们在理论上依然相当令人迷惑,因为它们虽然有效,但存在训练和预测不一致的问题,...