针对多模态大语言模型种类繁多的落地场景,我们搭建了CodeFuse-VLM 框架,支持多种视觉模型和语言大模型,使得MFT-VLM可以适应不同种类的任务。 CodeFuse-VLM 支持多种视觉达模型:CLIP,CLIP-336px,Chinese Clip,Chinese Clip-336px,Qwen Clip;多种语言达模型:Vicuna-7B,Vicunam-13B,LLAMA-2-7B,Qwen-7B,Qwen-14B。
CodeFuse-VLM是一个支持多种视觉模型和语言大模型的框架,用户可以根据自己的需求搭配不同的Vision Encoder和LLM。
此外,CodeFuse-VLM框架具备高效训练特征,支持高效的PEFT微调,能有效提升微调训练速度并降低对资源的需求。 此处为语雀视频卡片,点击链接查看:CodeFuse-VLM-14B-video.mp4 CodeFuse-VLM-14B模型 我们基于Qwen-VL的视觉编码器和Qwen-14B 大语言模型,在CodeFuse-VLM框架下训练了CodeFuse-VLM-14B 模型,在多个通用和代码...
Please run python scripts in directory llava/eval/. Our pre-trained CodeFuse-VLM-14B can be loaded with the following code: import os from llava.model.builder import load_mixed_pretrained_model model_path = '/pretrained/model/path' tokenizer, model, image_processor, context_len = load_mixed...
CodeFuse-VLM是一个支持多种视觉模型和语言大模型的框架,用户可以根据自己的需求搭配不同的VisionEncoder和LLM。CodeFuse-VLM-14B模型在多个通用和代码任务上的性能超过LLAVA-1.5和Qwen-VL。CodeFuse-VLM还被用于训练网页图片到前端代码的多模态大模型,提高了前端工程师的开发效率。
CodeFuse-VLM-14B SoTA vision-language model HF ; MS ** -- recommended models; Demos Video demos: Chinese version at below, English version under preparation. demo_video.mp4 Online Demo: You can try our CodeFuse-CodeLlama-34B model on ModelScope: CodeFuse-CodeLlama34B-MFT-Demo You can ...
CodeFuse-VLM 开源,支持多模态多任务预训练/微调 随着huggingface开源社区的不断更新,会有更多的vision encoder 和 LLM 底座发布,这些vision encoder 和 LLM底座都有各自的强项,例如 code-llama 适合生成代码类任务,但是不适合生成中文类的任务,因此用户常常需要根据vision encoder和LLM的特长来搭建自己的多模态大语言模...
CodeFuse-VLM-14B-performance.png CodeFuse-VLM-arch.png LEGAL.md LICENSE MFT-VLM-arch.png README.md README_cn.md accelerate_ds_config.yaml demo.ipynb init_env.sh plot.ipynb pyproject.toml Breadcrumbs CodeFuse-MFT-VLM / pyproject.toml Latest commit leizhichao.lzc opensource 5e143e8· Jan ...
Please run python scripts in directory llava/eval/. Our pre-trained CodeFuse-VLM-14B can be loaded with the following code: import os from llava.model.builder import load_mixed_pretrained_model model_path = '/pretrained/model/path' tokenizer, model, image_processor, context_len = load_mixed...