中文文本嵌入模型,用CoSENT(Cosine Sentence)方法训练,基于hfl/chinese-macbert-base在中文STS-B数据训练得到,并在中文STS-B测试集评估达到较好效果。 2023年8月7日下载自https://huggingface.co/shibing624/text2vec-base-chinese - 飞桨AI Studio
中文embedding模型,huggingface,来源于https://huggingface.co/shibing624/text2vec-base-chinese h hobbywang2 其他 自然语言处理 2 99 2024-05-24 详情 相关项目 评论(0) 创建项目 文件列表 text2vec-base-chinese.zip env.tar.gz recognize_worker.tar.gz deploy.tar.gz classify_pro.pdf update20231025.ta...
shibing624/text2vec-base-chinese模型,是用CoSENT方法训练,基于hfl/chinese-macbert-base在中文STS-B数据训练得到,并在中文STS-B测试集评估达到较好效果,运行examples/training_sup_text_matching_model.py代码可训练模型,模型文件已经上传HF model hub,中文通用语义匹配任务推荐使用 shibing624/text2vec-base-chinese...
2.使用场景:文本相似度计算,文本转指令 3.API封装: importuvicornfromfastapiimportFastAPIfromloguruimportloggerfrompydanticimportBaseModelfromstarlette.middleware.corsimportCORSMiddlewarefromtext2vecimportSimilarity sim_model= Similarity("shibing624/text2vec-base-chinese")#define the appapp =FastAPI() app.add_...
AIWizards /text2vec-base-chinese 任务: 特征抽取 框架: ONNX PyTorch 其他: sentence-similarity text2vec transformers + 1 更多 License: License: apache-2.0 加入合集 下载模型 main text2vec-base-chinese 1 贡献者 提交历史 AIWizardsInit36eef7e 10 个月前 ...
(https://huggingface.co/shibing624/text2vec-base-chinese-nli),基于`nghuyong/ernie-3.0-base-zh`模型,使用了中文NLI数据集[shibing624/nli_zh](https://huggingface.co/datasets/shibing624/nli_zh)全部语料训练的CoSENT文本匹配模型,在各评估集表现提升明显,详见[Release-v1.2.0](https://github.com/...
上文中提到了中文Sentence Embeddings text2vec-base-chinese (中文STS-B测试集评估达到SOTA),这次和OpenAIEmbedding做相对更细致一点的对比: 选用chinese-sts-b数据集【 该数据集通过翻译加部分人工修正的方法,从英文原数据集生成,可以一定程度上缓解中文语义相似度计算数据集不够的问题。每条数据包含三列,分别表示 se...
然后呢,在指定目录下载好作者已经训练好的模型文件。如本模块的地址就在:https://huggingface.co/shibing624/text2vec-base-chinese 需要注意的是,在该目录下的所有文件都需要下载(除了那个.gitattributes和README.md文件外) 2.3 运行 之后,就可以快乐的运行起来啦。官方示例的结果为 ...
text2vec-base-chinese-sentence相似度计算text2vec-base-chinese-sentence是一个用于计算中文句子相似度的模型。它基于文本向量化技术,将文本转换为向量表示,并使用余弦相似度来衡量两个句子的相似程度。 要计算text2vec-base-chinese-sentence的相似度,可以按照以下步骤进行: 1. 准备数据:准备两个需要比较相似度的...
模型下载 默认情况下模型会下载到cache的目录下,不方便直接调用 需要手动下载以下三个文件,新建bert_chinese文件夹,把这三个文件放进去。 https://huggingface.co/bert-base-chinese/tree/main 文本向量化 使用text2vec from text2vec import SentenceModel sentences = ['如何更换花呗绑定银行卡', '花呗更改绑定银...