司南评测 公众号:司南评测体系,致力构建透明、准确的大模型开源评测体系 在人工智能领域,大语言模型已经成为了技术创新的重要驱动力。为了更好地评估和提升大模型的性能,上海人工智能实验室研发推出了 OpenCompass 司南大模型开源评测体系。该体系是面向大语言模型、多模态…阅读全文 赞同13 3 条评论 ...
评测揭示医疗大模型核心短板与优化路径 以“度量”驱动良性竞争 共建医疗大模型应用生态 专业、公正、开放的评测体系是确保人工智能安全、高效发展的关键环节,它不仅是技术发展的“试金石”,也是连接技术与应用、促进跨领域合作的重要桥梁。 上海AI实验室正积极打造面向通用人工智能时代的创新开放评测体系司南(OpenComp...
近日，大模型开放评测体系司南（OpenCompass）推出评测指标G-Pass@k及数学评测集LiveMathBench，旨在检验大模型的数学推理能力，加速大模型在高难度推理场景中的落地应用。基于最新提出的评测集及指标，OpenCompass团队对主流通用大模型、数学大模型及强推理模型进行了多轮评测并观察到：闭源、开源模型均无法进行稳定的复杂...
近日，我们有幸获得了一套真机，接下来，就让我们一起走进评测现场，对其进行一番细致的开箱与实测。（司南T30）NEW接下来，让我们详细了解一下这款备受瞩目的RTK产品。司南T30系列以其卓越性能脱颖而出，它搭载了SINO第六代GNSS芯片“k708”，能够支持4星全频段卫星信号的接收。该系列GNSS接收机运用了司南导航的自...
2024年1月,上海人工智能实验室正式发布大模型开源开放评测体系司南(OpenCompass2.0),旨在为大语言模型、多模态模型等各类模型提供一站式评测服务。OpenCompass2.0 全面量化模型在知识、语言、理解、推理和考试等五大能力维度的表现,客观中立地为大模型技术创新提供坚实的技术支撑。 OpenCompass 自诞生以来,在学术界和产业...
司南导航全新推出的小型化RTK机型之一,小巧精悍,一手掌握,操作简单,作业更轻松。 7星30频 信号无忧 全面支持北斗三号卫星信号 并行通道数高达1590个,可用卫星50+ 复杂环境下性能依然卓越 60°倾斜测量 5s初始化 内置三代惯导,60°倾斜测量 扛杆在肩,点到即测 ...
司南OpenCompass 自建的评测榜单,综合评估商业 API 模型和开源模型在语言、推理、知识、代码、数学、指令跟随、智能体七大能力维度,这七个维度可以被进一步细分为 包括自然语言处理、理工科知识、常识推理、数值计算能力、代码续写、算法面试、高等数学、通用工具调用 等十余项细分任务,力图对近期的主流开源模型和商业 API...
OpenCompass司南大模型评测体系是一个全面、开源、灵活且可扩展的一站式评测平台，用于评估和提升大语言模型性能。以下是关于OpenCompass评测体系的详细解答：一、核心特性 开源：OpenCompass评测体系完全开源，用户可以直接获取评测代码和数据，确保评测的可复现性。全面的评估维度：涵盖了语言理解、常识逻辑、...
近期，大模型开源开放评测体系司南（OpenCompass 2.0）公布了2024年4月大语言模型最新评测榜单，智谱AI的GLM-4继续保持国产大模型第一的领先身位。大模型开源开放评测体系司南（OpenCompass 2.0）由上海人工智能实验室发布。其月度榜单从基础能力和综合能力的设计出发，构建了一套高质量的中英文双语评测基准体系，对...