来源：https://mmmu-benchmark.github.io 在针对中文场景打造的 CMMMU 数据集上，Yi-VL 模型展现了「更懂中国人」的独特优势。CMMMU 包含了约 12000 道源自大学考试、测验和教科书的中文多模态问题。其中，GPT-4V 在该测试集上的准确率为 43.7%， Yi-VL-34B 以 36.5% 的准确率紧随其后，在现有的开源多...
CMMMU 包含了约 12000 道源自大学考试、测验和教科书的中文多模态问题。其中,GPT-4V 在该测试集上的准确率为 43.7%, Yi-VL-34B 以 36.5% 的准确率紧随其后,在现有的开源多模态模型中处于领先位置。 来源:https://cmmmu-benchmark.github.io/ 那么,Yi-VL 模型在图文对话等多元场景中的表现如何? 我们先看...
Yi-VL结构和 llava近乎一致,适配流程参考 tensorrt-llm 0.9.0 的 llava 模型(TensorRT-LLM/examples/multimodal) 首先是将视觉部分导出为 onnx,然后build engine 然后将语言部分直接用 llama的代码即可以 build engine 1. docker 环境 构造docker <https://github.com/NVIDIA/TensorRT-LLM.git> git checkout tag...
微调代码开源地址: github.com/modelscope/s SWIFT支持Yi-VL微调:github.com/modelscope/s 我们使用数据集coco-mini-en-2进行微调. 任务是: 描述图片中的内容. 环境准备: git clone https://github.com/modelscope/swift.git cd swift pip install .[llm] 微调脚本: LoRA # https://github.com/modelscope...
model_dir=snapshot_download('01ai/Yi-VL-34B', cache_dir='autodl-fs', revision='master') 因为模型很大,下载的挺慢的。 下载Yi 仓库 下面我们下载 Yi 的仓库,里面有运行这个多模态模型的 demo 代码。 source/etc/network_turbogitclone https://github.com/01-ai/Yi ...
git clonehttps://github.com/01-ai/Yi.git 3、安装环境 dockerrun -it -v /datas/work/zzq/:/workspace --gpus=allpytorch/pytorch:2.0.1-cuda11.7-cudnn8-devel bash cd /workspace/Yi-vl/Yi/VL pip install -r requirements.txt -iSimple Index ...
Reminder I have searched the Github Discussion and issues and have not found anything similar to this. Environment OS: Ubuntu 20.04 Python: 3.10 PyTorch: 2.0.1+cu118 CUDA: 11.8 transformers: 4.32.0 Current Behavior 报错,无法正常推理。 Expected Be...
模块安装:第三方模块: torch == 2.1.2,其余模块参考Github项目中的requirements.txt文件。 其余修改:将Yi-VL-34B模型中config.json中的mm_vision_tower改为本地的clip模型路径。 经过以上步骤即可完成部署。Yi-VL-34B模型在对话中的system prompt调整如下: ...
conda activate yi-vl git clonehttps://github.com/01-ai/Yi.git cd Yi/VL export PYTHONPATH=$PYTHONPATH:$(pwd) pip install -r requirements.txt 下载模型:vi download.py from modelscope import snapshot_download model_dir = snapshot_download("01ai/Yi-VL-6B", revision = "master") ...
Usage: python3 srt_example_yi_vl.py """ import sglang as sgl @sgl.function def image_qa(s, image_path, question): s += sgl.user(sgl.image(image_path) + question) s += sgl.assistant(sgl.gen("answer")) def single(): state = image_qa.run( image_path="images/cat.jpeg", ques...