微调 复盘一下我的微调全过程。我是在三张3090的卡上跑的 1 配置环境 git clone https://github.com/modelscope/ms-swift.git cd ms-swift pip install -e .[llm] pip install git+https://github.com/huggingface/transformers.git #我直接pip install transformers(后面提示缺什么包再补什么包) pip instal...
model model_name_or_path: /Qwen2-VL-7B-Instruct method stage: sft do_train: true finetuning_type: full train_mm_proj_only: true #训练多模态投影器 deepspeed: examples/deepspeed/ds_z2_config.json dataset dataset: mllm_demo,identity template: qwen2_vl cutoff_len: 1024 max_samples: 1000 ...
olmOCR-7B-0225-preview由艾伦人工智能研究所发布,基于Qwen2-VL-7B-Instruct架构微调而成。该模型通过“文档锚定”技术,将PDF页面中提取的文本块、位置信息、字体等元数据与页面图像融合,构建双通道输入。视觉编码器参数保留不变,主要对语言生成部分进行微调,从而兼顾视觉理解与文本连贯性。同时,利用全参数微调与动态...
Reminder I have read the README and searched the existing issues. System Info sh Reproduction sh Expected behavior No response Others No response