BGE的embedding模型是一个表征模型,对pair对文本分别建模成向量,再通过余弦相似度得到向量之间相似度。表征模型适合在离线场景构建索引。相对的,Reranker模型是交互型模型,将pair对文本共同作为模型输入直接得到相似度,文本之间可以得到更好的特征交互,效果更显著。 2.3 微调 BGE采用了指令微调的方式,指令微调允许模型在...
整个reranker模型由两个部分组成:roberta主干+XLMRobertaClassificationHead 对于roberta主干,参数量为277453056,hidden_size=768,layers=12,vocab_size=250002. 对于XLMRobertaClassificationHead,包括两个线性层(768-->768 + 768 -->1)(在modeling_xlm_roberta.py文件中搜索XLMRobertaClassificationHead即可找到),参数量...