进入C-Eval榜单代表着提交模型的语言判断能力以达到行业领先的水平。但C-Eval榜单并非是判断模型优劣的绝对标准，C-Eval并不能完全杜绝研发团队作弊提高排名的可能，预设的机制更多是对模型爬虫能力的限制而非人员，在开发团队前期发布的文章中，也列出了两种套用模型主要的作弊机制，并呼吁模型开发人员选择困难但正确的道...
作为中文大模型的权威基准，C-Eval榜单由清华大学、上海交通大学和爱丁堡大学合作研发，CMMLU榜单由MBZUAI（全球首所人工智能大学）、上海交通大学、微软亚洲研究院共同推出。这两个平台，均是目前对模型潜力判断最具权威性的大模型榜单，专门用于评估语言模型在中文语境下的知识和推理水平。（“智鹿”登上C-Eval榜单TOP...
近日,C-Eval中文大模型榜单进行了更新,云天励飞大模型凭借77.1的平均分,成功登顶榜首。(该榜单目前涵盖了62个模型) C-Eval是由清华大学、上海交通大学以及爱丁堡大学联手打造的,专门针对中文语言模型的全面测试集。它囊括了13948道多项选择题,广泛覆盖了52个学科领域和四个难度梯度,被誉为全球最具影响力的中文评测...
近日,容联云赤兔大模型在权威大模型评测榜单 C-Eval 刚刚更新的大模型评测中,成绩突出,位居前六,与清华&智谱Al、OpenAl、商汤科技等位居前列。其中70亿参数的容联云赤兔大模型成绩表现超过了几乎所有同等规模的模型,以轻量级模型跻身GPT4等千亿模型为主的top梯队。 C-Eval是由清华大学、上海交通大学和爱丁堡大学合...
Blog URL:https://yaofu.notion.site/C-Eval-6b79edd91b454e3d8ea41c59ea2af873 TL;DR 上海交大和清华联合研发的中文大语言模型测试集,是目前最流行的中文测试集之一 Introduction 背景 在OpenAI GPT 系列 / Google PaLM 系列 / DeepMind Chinchilla 系列 / Anthropic Claude 系列的研发过程中,MMLU/MATH/BBH...
山海大模型迎来新一轮迭代升级——在性能优化方面,山海大模型不仅实现了学科和行业能力、推理能力的提升,更实现了吞吐效率、上下文窗口长度、模型参数融合方法的优化;在效果提升方面,山海大模型反事实能力大幅提高,此外,在本月的C-Eval全球大模型综合性考试评测中,山海大模型更是取得了60分以上的优异成绩,成功跻身榜单...
登顶C-Eval、CMMLU双榜单第一【附人工智能产业分析】 图源:摄图网 10月16日,vivo将发布自研AI大模型矩阵,其中包括十亿、百亿、千亿三个不同参数量级的5款自研大模型,全面覆盖核心应用场景。 据vivo相关负责人透露,vivo自研AI大模型将会在即将发布的OriginOS 4系统中被首次应用,为消费者带来更加智能、便捷、安全的...
最近,C-Eval(被誉为“权威大模型评测榜单”)上,GPT-4跌到了第10名,GPT-3.5更是跌到了第35名。然而,国内的大模型并没有因此而崛起,这让人不禁怀疑其中的真相。🤔C-Eval采用的是客观选择题评测方式,输入的是知识类题目,输出是一个客观结果ABCD。这种评测方式不禁让人联想到高中时期的“五三”、“黄冈”以及...
【天极网IT新闻频道】日前,C-Eval中文大模型榜单更新,云天励飞大模型以77.1的平均分位列榜单*。(榜单目前有62个模型) C-Eval是由清华大学、上海交通大学和爱丁堡大学合作构建的面向中文语言模型的综合性考试评测集。它包含了13948个多项选择题,涵盖了52个不同的学科和四个难度级别,是全球*具影响...
作为国内最权威的两个大语言模型测试榜单，C-Eval是由清华大学、上海交通大学和爱丁堡大学合作构建的综合性考试评测集，覆盖52个学科，是目前权威的中文AI大模型评测榜单之一。CMMLU 是由MBZUAI、上海交通大学、微软亚洲研究院共同推出，包含67个主题，专门用于评估语言模型在中文语境下的知识和推理能力。在CMMLU榜单评测...