进入C-Eval榜单代表着提交模型的语言判断能力以达到行业领先的水平。但C-Eval榜单并非是判断模型优劣的绝对标准，C-Eval并不能完全杜绝研发团队作弊提高排名的可能，预设的机制更多是对模型爬虫能力的限制而非人员，在开发团队前期发布的文章中，也列出了两种套用模型主要的作弊机制，并呼吁模型开发人员选择困难但正确的道...
11月16日，根据最新成绩，千亿级参数的夸克大模型登顶C-Eval和CMMLU两大权威评测榜单，多项性能优于GPT-4。在国内大模型赛道火热的当下，夸克自研大模型凭借过硬的研发能力及数据、行业、平台等优势成为新晋“学霸”。作为国内最权威的两个大语言模型测试榜单，C-Eval是由清华大学、上海交通大学和爱丁堡大学合作构建的...
11月16日，根据最新成绩，千亿级参数的夸克大模型登顶C-Eval和CMMLU两大权威评测榜单。在国内大模型赛道火热的当下，夸克自研大模型凭借过硬的研发能力及数据、行业、平台等优势成为新晋“学霸”。作为国内最权威的两个大语言模型测试榜单，C-Eval是由清华大学、上海交通大学和爱丁堡大学合作构建的综合性考试评测集，覆...
作为中文大模型的权威基准，C-Eval榜单由清华大学、上海交通大学和爱丁堡大学合作研发，CMMLU榜单由MBZUAI（全球首所人工智能大学）、上海交通大学、微软亚洲研究院共同推出。这两个平台，均是目前对模型潜力判断最具权威性的大模型榜单，专门用于评估语言模型在中文语境下的知识和推理水平。（“智鹿”登上C-Eval榜单TOP...
数据显示，在C-Eval榜单上，XuanYuan-70B的总成绩达到71.9分；在CMMLU榜单中，以71.05分的高分位居榜首，在两大权威榜单上的所有开源模型中排名榜首，也是国内首个同时在两大权威榜单排名榜首的金融大模型。C-Eval榜单是由清华大学、上海交通大学和爱丁堡大学合作构建的综合性考试评测集，几乎囊括了所有国内外的...
作为国内最权威的两个大语言模型测试榜单，C-Eval是由清华大学、上海交通大学和爱丁堡大学合作构建的综合性考试评测集，覆盖52个学科，是目前权威的中文AI大模型评测榜单之一。CMMLU 是由MBZUAI、上海交通大学、微软亚洲研究院共同推出，包含67个主题，专门用于评估语言模型在中文语境下的知识和推理能力。在CMMLU榜单评测...
近日,容联云赤兔大模型在权威大模型评测榜单 C-Eval 刚刚更新的大模型评测中,成绩突出,位居前六,与清华&智谱Al、OpenAl、商汤科技等位居前列。其中70亿参数的容联云赤兔大模型成绩表现超过了几乎所有同等规模的模型,以轻量级模型跻身GPT4等千亿模型为主的top梯队。
9月22日，度小满宣布“轩辕70B”金融大模型开源，所有用户均可自由下载和试用，并公布了“轩辕70B”在C-Eval、CMMLU两大权威大语言模型评测基准的成绩。数据显示， 在C-Eval榜单上，XuanYuan-70B的总成绩达到71.9分；在CMMLU榜单中，以71.05分的高分位居榜首，在两大权威榜单上的所有开源模型中排名第一，也是...
C-Eval榜单是由清华大学、上海交通大学和爱丁堡大学合作构建的面向中文语言模型的综合性考试评测集，涵盖52个不同学科，共有13948道多项选择题，是目前较为权威的中文AI大模型评测榜单。CMMLU数据集则是一个综合性的中文评估基准，由MBZUAI、上海交通大学、微软亚洲研究院共同推出，在评估语言模型在中文语境下的知识和...
因此,我们建议用户谨慎看待以下榜单。 我们同时也将榜单拆分成2个: (1)公开访问的模型-- 这些模型有公开权重或者API,用户可以自行检查验证它们的效果; (2)受限访问的模型: 这些模型暂时没有对公众开放。 不同科目和平均的测试结果展示如下。 以下结果代表zero-shot或者few-shot测试(模型描述包括prompt形式可点进...