11月16日，根据最新成绩，千亿级参数的夸克大模型登顶C-Eval和CMMLU两大权威评测榜单，多项性能优于GPT-4。在国内大模型赛道火热的当下，夸克自研大模型凭借过硬的研发能力及数据、行业、平台等优势成为新晋“学霸”。作为国内最权威的两个大语言模型测试榜单，C-Eval是由清华大学、上海交通大学和爱丁堡大学合作构建的...
作为国内最权威的两个大语言模型测试榜单，C-Eval是由清华大学、上海交通大学和爱丁堡大学合作构建的综合性考试评测集，覆盖52个学科，是目前权威的中文AI大模型评测榜单之一。CMMLU 是由MBZUAI、上海交通大学、微软亚洲研究院共同推出，包含67个主题，专门用于评估语言模型在中文语境下的知识和推理能力。在CMMLU榜单评测...
vivo将发布自研AI大模型矩阵，其中包括十亿、百亿、千亿三个不同参数量级的5款自研大模型，全面覆盖核心应用场景。最新数据显示，vivo自研AI大模型同时位列C-Eval、CMMLU双榜的全球中文榜单榜首，综合能力十分强劲，特别是在人文、社科等领域的表现远超同级别大模型。据vivo相关负责人透露，vivo自研AI大模型将会在即将...
此次,vivo自研AI大模型同时登顶C-Eval、CMMLU两大榜单,展现出其在中文语言模型领域的绝对领先实力,亦体现出业界对vivo的AI创新能力和发展潜力的肯定。 10月16日,C-Eval大模型评测榜单更新,榜单显示,vivo自研大模型在C-Eval全球中文榜单中排名第一。此前,vivo自研大模型已取得了C-Eval百亿内大模型榜单第一,CMMLU...
根据C-Eval排行榜的最新数据显示，作业帮银河大模型以平均分为73.7分位居榜首。在由MBZUAI、上海交通大学、微软亚洲研究院共同推出的CMMLU榜单中，作业帮银河大模型表现同样出色，在Five-shot和Zero-shot 测试中分别以74.03分及73.85分占据榜首。据了解，CMMLU共涵盖了67个主题，涉及自然科学、社会科学、工程、人文...
10月16日,C-Eval大模型评测榜单更新,榜单显示,vivo自研大模型在C-Eval全球中文榜单中排名第一。此前,vivo自研大模型已取得了C-Eval百亿内大模型榜单第一,CMMLU全球中文榜单第一以及其百亿内大模型榜单第一的好成绩。vivo相关负责人透露,vivo自研AI大模型将会在即将发布的OriginOS 4系统中被首次应用,其中包括十亿...
登顶C-Eval、CMMLU双榜单第一【附人工智能产业分析】 图源:摄图网 10月16日,vivo将发布自研AI大模型矩阵,其中包括十亿、百亿、千亿三个不同参数量级的5款自研大模型,全面覆盖核心应用场景。 据vivo相关负责人透露,vivo自研AI大模型将会在即将发布的OriginOS 4系统中被首次应用,为消费者带来更加智能、便捷、安全的...
11月16日,根据最新成绩,千亿级参数的夸克大模型登顶C-Eval和CMMLU两大权威评测榜单。 作为国内最权威的两个大语言模型测试榜单,C-Eval是由清华大学、上海交通大学和爱丁堡大学合作构建的综合性考试评测集,覆盖52个学科,是目前权威的中文AI大模型评测榜单之一。CMMLU是由MBZUAI、上海交通大学、微软亚洲研究院共同推出,...
10月16日消息，vivo将发布自研AI大模型矩阵，其中包括十亿、百亿、千亿三个不同参数量级的5款自研大模型，全面覆盖核心应用场景。vivo相关负责人透露，vivo自研AI大模型将会在即将发布的OriginOS 4系统中被首次应用，为消费者带来更加智能、便捷、安全的手机使用体验。数据显示，vivo自研AI大模型同时位列C-Eval、CMML...
Table 5:CMMLU与其他评测比较 image.png 与CEval 和 M3KE 相比,CMMLU 包含的人文、社会科学和其他科目(通常是针对特定国家或文化的科目),而 STEM 科目较少。 这表明,CMMLU更倾向于检查与社会、文化和区域因素相关的知识。 Figure 7:各个任务的 问/答句的长度 image.png Table 8:一些示例 image.png Figure...