23-09-2 17:06 发布于 北京 来自 iPhone 14 Pro Max 作业帮发布银河大模型,C-Eval、CMMLU双榜排名第一。9月2日至6日,2023中国国际服务贸易交易会在北京举办,作业帮受邀参展,并正式发布自研银河大模型。在服贸会现场,银河大模型在智能解题、知识问答、中英文写作及AI伴学等方面的出色表现吸引了大量现场观众的...
MMLU是一个大规模、多任务的语言理解项目，用来评估语言模型在各种语言理解任务上的能力，涵盖了广泛的主...
我们需要强调一下为什么不应该以榜单排名作为目标：如果把打榜作为目标，则容易为了高分而过拟合榜单，反而丢失通用性 — 这是 GPT-3.5 之前 NLP 学术界在 finetune Bert 上学到的一个重要教训。榜单本身只测模型潜力，不测真实用户感受 — 要模型真的被用户喜好，还是需要大量的人工评价的 如果目标是排名，则容易...
11月14日,拥有千亿参数的夸克自研大模型正式发布,立刻占据CMMLU榜单第一名。夸克大模型将应用于通用搜索、医疗健康、教育学习、职场办公等多个场景。性能方面,其整体水平已经超过GPT-3.5,其中在写作、考试等部分场景中可以超过GPT-4,成为国产大模型中名副其实的“学霸”。
23-10-16 10:10 发布于 北京 来自 OPPO Find X6 Pro vivo将发布自研AI大模型矩阵 C-Eval、CMMLU双榜排名第一10月16日,C-Eval大模型评测榜单更新,榜单显示,vivo自研大模型在C-Eval全球中文榜单中排名第一。此前,vivo自研大模型已取得了C-Eval百亿内大模型榜单第一,CMMLU全球中文榜单第一以及其百亿内大...
在lmsys上,gemini-1.5-pro-api-0514的输出,提示词为:在冷静的思维下,塑造出人意料的剧情,描写出的人物不刻板,按照流行网络潮流,写中文的玄幻轻小说。在相同提示词下,测试了许多个模型,只有Gemini模型能做到,脱离大部分模型固有ai模板的输出 2024-08-04· 安徽 回复1 Garry 大司命official Gemini中文能力...
日前,斯坦福大学基础模型研究中心(CRFM)发布了大模型测评榜单HELM MMLU的最新结果。其中显示,阿里巴巴通义千问Qwen2-72B模型排名第5,仅次于Claude 3 Opus、GPT-4o、Gemini 1.5 pro、GPT-4,是排名第一的开源大模型、性能超越Llama3-70B,同时也是排名最高的中国大模型。
日前,斯坦福大学基础模型研究中心(CRFM)发布了大模型测评榜单HELM MMLU的最新结果。其中显示,阿里巴巴通义千问Qwen2-72B模型排名第5,仅次于Claude 3 Opus、GPT-4o、Gemini 1.5 pro、GPT-4,是排名第一的开源大模型、性能超越Llama3-70B,同时也是排名最高的中国大模型。
日前,斯坦福大学基础模型研究中心(CRFM)发布了大模型测评榜单HELM MMLU的最新结果。其中显示,阿里巴巴通义千问Qwen2-72B模型排名第5,仅次于Claude 3 Opus、GPT-4o、Gemini 1.5 pro、GPT-4,是排名第一的开源大模型、性能超越Llama3-70B,同时也是排名最高的中国大模型。