BAAI/bge-m3中的colbert模型是基于XLMRoberta训练而来,因此使用ColBERT可以直接从bge-m3中加载预训练权重。 importtransformersfromretrievalsimportColBERT model_name_or_path:str='BAAI/bge-m3'model=ColBERT.from_pretrained(model_name_or_path,colbert_dim=1024,use_fp16=True,loss_fn=ColbertLoss(use_inbatch_neg...
对bge-reranker-v2-m3 进行微调 命令为 torchrun --nproc_per_node 1 -m FlagEmbedding.llm_reranker.finetune_for_instruction.run --output_dir /home/lf/models/bge-reranker-v2-m3-finetune --model_name_or_path /home/lf/models/bge-reranker-v2-m3 --train_data /home/lf/data/toy_finetune_...