GitHub is where people build software. More than 150 million people use GitHub to discover, fork, and contribute to over 420 million projects.
这个项目的灵感来自去年 DeepSeek 开源的那个 R1 方法,靠着 GRPO(Group Relative Policy Optimization)强化学习方法,在纯文本大模型上取得了惊人的效果。 VLM-R1是将DeepSeek 的 R1 方法从纯文本领域成功迁移到了视觉语言领域,这意味着打开了对于多模态领域的想象空间! 这个项目的团队在Qwen2.5-VL 的基础上,同时对...
此仓库是为了提升国内下载速度的镜像仓库,每日同步一次。 原始仓库:https://github.com/om-ai-lab/VLM-R1 main 克隆/下载 git config --global user.name userName git config --global user.email userEmail 分支5 标签2 SZhanZadd findings info in README756302f9天前 ...
Solve Visual Understanding with Reinforced VLMs. Contribute to om-ai-lab/VLM-R1 development by creating an account on GitHub.
git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e ".[torch,metrics]" 接着,下载提供的dataset_info.json、mllm_rec_json.json和qwen2_5_vl_full_sft.yaml文件,分别放置在LLaMA-Factory/data和LLaMA-Factory/examples/train_full目录中。
R1方法的通用性，也为多模态模型的训练提供了新思路，预示着一种全新的视觉语言模型训练潮流的到来。更令人振奋的是，该项目完全开源，感兴趣的开发者可以在 GitHub 上找到相关资料。总之，VLM-R1的问世为视觉语言模型的研究注入了新的活力，期待更多开发者能够参与其中，推动多模态 AI 技术的不断进步。
https://github.com/om-ai-lab/VLM-R1/blob/main/src/open-r1-multimodal/src/open_r1/grpo_rec.py 滑到奖励函数,就清晰了。一个格式奖励函数,一个iou函数。iou是目标检测中一个常见的度量标准, 简单来说两个框的交集面积除以并集面积的比值。判断是否大于0.5,给予奖励。
VLM-R1的出现让我们看到了多模态AI的巨大潜力。它不仅是一项技术突破，更是通向未来的钥匙。如果你对AI感兴趣，不妨去GitHub上看看这个项目。说不定你的创意，就是下一个改变行业的大事件。欢迎在评论区分享你对VLM-R1的看法，或者聊聊你最期待AI在哪些场景中的应用。让我们一起见证多模态AI的成长！
gitclonehttps://github.com/hiyouga/LLaMA-Factory.gitcdLLaMA-Factory pip install -e".[torch,metrics]" 接着,下载提供的dataset_info.json、mllm_rec_json.json和qwen2_5_vl_full_sft.yaml文件,分别放置在LLaMA-Factory/data和LLaMA-Factory/examples/train_full目录中。
1. 2. 3. 4. 5. 资源 GitHub 仓库:https://github.com/om-ai-lab/VLM-R1 ️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术! 🥦