由于国内网络问题,我们是无法访问Huggingface官网的 首先我们想办法先正常访问到Huggingface官网https://huggingface.co/ 查找我们需要的模型,例如google-bert/bert-base-chinese选择对应的模型我们选择下载 1、config.json: 模型的配置文件,里面记录了所有用于训练的参数设置 2、PyTorch_model.bin:模型文件本身 3、vocab.t...
(1) bert-base-chinese TaskAFQMCCMNLICSLIFLYTEKOCNLITNEWSWSC P72.17%75.74%80.93%60.22%78.31%57.52%75.33% F152.96%75.74%81.71%60.22%78.30%57.52%80.82% (2) chinese-roberta-wwm-ext: TaskAFQMCCMNLICSLIFLYTEKOCNLITNEWSWSC P73.10%80.75%80.07%60.98%80.75%57.93%86.84% ...
"""BERT_VOCAB ="/home/data1/ftpdata/pretrain_models/bert_tensoflow_version/bert-base-chinese-vocab.txt"text_list = ["权人宏伟支行及宝成公司共22次向怡天公司催收借款全部本金及利息,均产生诉讼时效中断的法律效力,本案债权未过诉讼时效期间",# LN8"2012年11月30日,原债权人工行锦州市分行向保证人...
label2id = {"NEGATIVE": 0, "POSITIVE": 1} tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-chinese") dataset = load_dataset("lansinuote/ChnSentiCorp") model = AutoModelForSequenceClassification.from_pretrained( "google-bert/bert-base-chinese", num_labels=2, id2label=id2lab...
使用示例代码：from sentence_transformers import SentenceTransformer,utilmodel = SentenceTransformer("uer/sbert-base-chinese-nli")top_k = 10 ## 列出最相似的10个sentences = [ ## 需要模型匹配的语句集合，这里推荐仅可能丰富的语句'摩托车','汽车','高铁','火车','自行车']query = 'hihi' ## 这里会...
BERT_VOCAB = "/home/data1/ftpdata/pretrain_models/bert_tensoflow_version/bert-base-chinese-vocab.txt" text_list = ["权人宏伟支行及宝成公司共22次向怡天公司催收借款全部本金及利息,均产生诉讼时效中断的法律效力,本案债权未过诉讼时效期间", # LN8 ...
根据模型的不同下载的东西也不相同使用Linux模型保存的路径在~/.cache...存在的问题这些前提是你的电脑有网络可以直接使用代码下载相应的模型文件,但是问题是有些机器是没有外网连接权限或者下载速度非常慢。...这时候就需要把模型文件下载后在导入代码中,还是以刚才的 hfl/chinese-xlnet-base模型为例,直接在官网...
根据模型的不同下载的东西也不相同使用Linux模型保存的路径在~/.cache...存在的问题这些前提是你的电脑有网络可以直接使用代码下载相应的模型文件,但是问题是有些机器是没有外网连接权限或者下载速度非常慢。...这时候就需要把模型文件下载后在导入代码中,还是以刚才的 hfl/chinese-xlnet-base模型为例,直接在官网...