自 2024 年 3 月发布以来， LMMs-Eval 框架已经收到了来自开源社区、公司和高校等多方的协作贡献。现已在 Github 上获得 1.1K Stars，超过 30+ contributors，总计包含 80 多个数据集和 10 多个模型，并且还在持续增加中。标准化测评框架 为了提供一个标准化的测评平台，LMMs-Eval 包含了以下特性：统一接口: ...
自2024 年 3 月发布以来, LMMs-Eval 框架已经收到了来自开源社区、公司和高校等多方的协作贡献。现已在 Github 上获得 1.1K Stars,超过 30+ contributors,总计包含 80 多个数据集和 10 多个模型,并且还在持续增加中。 标准化测评框架 为了提供一个标准化的测评平台,LMMs-Eval 包含了以下特性: 统一接口: LMMs-...
统一接口: LMMs-Eval 在文本测评框架 lm-evaluation-harness 的基础上进行了改进和扩展,通过定义模型、数据集和评估指标的统一接口,方便了使用者自行添加新的多模态模型和数据集。 一键式启动:LMMs-Eval 在 HuggingFace 上托管了 80 多个(且数量不断增加)数据集,这些数据集精心从原始来源转换而来,包括所有变体、版本...
而LMMS-EVAL则提供了一个轻量级的评测工具包,可以在有限的资源下进行评测。同时,该框架还利用了持续更新的新闻和在线论坛等资源,以评估模型在真实世界中的泛化能力,从而实现了低成本和零污染的评测目标。 然而,尽管LMMS-EVAL具有许多优点,但也存在一些潜在的局限性。首先,由于多模态模型的复杂性,评测任务的设计可能无...
设计了两种不同的评估方案:高效且全面的LMMS-EVAL LITE和实时更新的LIVEBENCH,以满足不同需求下的评估成本和质量要求。 对当前LMM评估过程中存在的“三难困境”进行了深入探讨,并提出了未来研究方向。🛠️ 方法创新点 建立了一个标准的评估流程,包括数据准备、输出后处理和指标计算等环节,保证了评估结果的一致性和...
Use saved searches to filter your results more quickly Cancel Create saved search Sign in Sign up Reseting focus {{ message }} huggingface / lmms-eval Public forked from EvolvingLMMs-Lab/lmms-eval Notifications You must be signed in to change notification settings Fork 2 ...
pip install lmms-eval For development, you can install the package by cloning the repository and running the following command: git clone https://github.com/EvolvingLMMs-Lab/lmms-eval cd lmms-eval pip install -e . If you want to test LLaVA, you will have to clone their repo from LLaVA...
统一接口: LMMs-Eval 在文本测评框架 lm-evaluation-harness 的基础上进行了改进和扩展,通过定义模型、数据集和评估指标的统一接口,方便了使用者自行添加新的多模态模型和数据集。 一键式启动:LMMs-Eval 在 HuggingFace 上托管了 80 多个(且数量不断增加)数据集,这些数据集精心从原始来源转换而来,包括所有变体、版本...
统一接口: LMMs-Eval 在文本测评框架 lm-evaluation-harness 的基础上进行了改进和扩展,通过定义模型、数据集和评估指标的统一接口,方便了使用者自行添加新的多模态模型和数据集。 一键式启动:LMMs-Eval 在 HuggingFace 上托管了 80 多个(且数量不断增加)数据集,这些数据集精心从原始来源转换而来,包括所有变体、版本...
统一接口: LMMs-Eval 在文本测评框架 lm-evaluation-harness 的基础上进行了改进和扩展,通过定义模型、数据集和评估指标的统一接口,方便了使用者自行添加新的多模态模型和数据集。 一键式启动:LMMs-Eval 在 HuggingFace 上托管了 80 多个(且数量不断增加)数据集,这些数据集精心从原始来源转换而来,包括所有变体、版本...