数据集信息 CMB(Comprehensive Medical Benchmark in Chinese)是由香港中文大学(深圳)的研究团队在2023年推出的一个全面的中文医学问答评测基准。CMB旨在为大型语言模型(LLMs)在医学领域的表现提供一个标准化的评估平台。子集其一是 CMB-Exam,汇集了大量公开获取的模拟考试题、课程练习题以及常见误解题,这些材料主要源
评估数据集和基准是开发医疗领域高质量LLM的关键之一。在LLM时代之前,已有许多生物医学基准数据集但存在几点问题,(a) 限于英语,使得将英语的成功复制到其他语言变得具有挑战性;(b) 专注于探索LLM的知识能力,忽略了评估LLM如何将这些知识应用于广泛的生物医学自然语言处理(BioNLP)任务;(c) 已成为公开可获取的语料库...
标准做法是将数据集分为训练集、验证集和测试集，通常比例为70%:15%:15%或类似分配。训练集用于直接训练模型，验证集用于调整参数和选择模型，而测试集仅在最终评估时使用一次，模拟真实世界中未见过的数据。
基准数据集是衡量算法模型效果的重要工具。不同场景下对数据集的要求不同,数据质量直接影响最终评估结果。这里用生活化的语言详细讲讲数据集的分级标准和应用方法,帮助大家更好地理解其中的门道。 基准数据集可以分成几个不同的层次。最基础的是原始数据层,比如拍摄的原始照片、录音的音频片段、采集的传感器信号。这些...
直接使用：https://go.hyper.ai/p6SiO公共数据集精选1. MRR-Benchmark 多模态阅读基准数据集多模态阅读 (MMR) 基准包括 11 个不同任务中的 550 个带注释的问答对，涉及文本、字体、视觉元素、边界框、空间关系和基础，并具有精心设计的评估指标。直接使用：https://go.hyper.ai/deAmf2. EveDentify 瞳孔直径...
多模态数学推理基准数据集是用于评估多模态数学推理能力的重要工具。它整合多种模态数据，为相关研究提供有力支撑。数据集中包含丰富的文本描述数学问题，辅助理解题意。图像模态的加入，直观呈现数学关系与几何形状。一些数据集有音频模态内容，如数学概念讲解语音。文本部分涵盖从简单算术到复杂代数的各类题目。图像包括...
在这一背景下，我们基于真实搜索日志，构建了一个全新的中文段落排序基准数据集：T2Ranking。T2Ranking由超过 30 万的真实查询和 200 万的互联网段落构成，并且包含了由专业标注人员提供的 4 级细粒度相关性标注。目前数据和一些 baseline 模型已经公布在 Github，相关研究工作已作为 Resource 论文被 SIGIR 2023 录用...
* LAB Bench 语言模型生物学基准数据集: https://go.hyper.ai/kMe1e 论文的通讯作者 Samuel G. Rodriques 强调:LAB-Bench 作为第一个专注于评估模型、Agent 能否进行科学研究的评估集,其采用的针对复杂任务的程序化评估方法,在未来将会非常重要。 图源:Sam Rodriques 社交平台 ...
复旦DISC实验室推出了ReForm-Eval,一个用于综合评估大视觉语言模型的基准数据集。ReForm-Eval通过对已有的、不同任务形式的多模态基准数据集进行重构,构建了一个具有统一且适用于大模型评测形式的基准数据集。所构建的ReForm-Eval具有如下特...
简介:「炼丹必备」15个常用基准数据集含大规模中文多模态理解、医疗信息处理等场景 1、首个大规模中文多模态评测基准 MUGE MUGE(Multimodal Understanding and Generation Evaluation)是业界首个大规模中文多模态评测基准,由达摩院联合浙江大学、阿里云天池平台联合发布,中国计算机学会计算机视觉专委会(CCF-CV专委)协助推出...