BGE(BAAI General Embedding)系列模型是智源研究院开发的高性能语义表征工具,其中bge-large-zh-v1.5和bge-reranker-large是两类不同功能的模型。它们的区别和联系如下: 核心区别 功能定位 bge-large-zh-v1.5:属于Embedding模型,主要用于将文本(如句子或段落)转换为高维向量,以便通过向量相似度进行语义检索。它通过生...
('./bge-small-zh-v1.5') def query(input): inputs, attention_mask = preprocess(input.query, tokenizer) outputs = model.execute(inputs) outputs = postprocess(outputs, attention_mask) return {"vecters": outputs.tolist()} def cosine_similarity(embedding1, embedding2): dot_product = np....
What model would you like? bge-reranker-large https://huggingface.co/BAAI/bge-reranker-large wwjCMPclosed this ascompletedApr 14, 2024 wwjCMPreopened thisApr 14, 2024 wwjCMPchanged the titleSupport bge-large-zh-v1.5 and bge-reranker-largeApr 14, 2024 ...
使用BAAI/bge-large-zh模型,在domain数据集上效果已超越openai embedding。 郁闷的是,在domain数据集上finetune后,效果下降了。 使用reRank,可显著提升检索效果,前提还是bge-reranker-large效果比较好。笔者对比,阿里的通用reRank模型,效果比检索还差了。 检索的候选多了,效果上限会提高但ReRank效果可能会下降。 通过...