在评测方法与工具上，智源研究院联合全国10余家高校和机构合作共建，探索基于AI的辅助评测模型FlagJudge和灵活全面的多模态评测框架FlagEvalMM，并构建面向大模型新能力的有挑战的评测集，包括与北京大学共建的HalluDial幻觉评测集、与北师大共建的CMMU多模态评测集、多语言跨模态评测集MG18、复杂代码评测集TACO以及长视频...
智源研究院副院长兼总工程师林咏华在评测发布会上表示，FlagEval 评测体系一直坚守科学、权威、公正、开放的准则，通过技术方法平台持续创新，打造丈量模型能力的标尺，为大模型技术生态发展提供洞察。2025 年，FlagEval 评测体系的发展将进一步探索动态评测与多任务能力评估体系，以评测为标尺感知大模型的发展趋势。
在评测方法与工具上，智源研究院联合全国10余家高校和机构合作共建，探索基于AI的辅助评测模型 FlagJudge和灵活全面的多模态评测框架FlagEvalMM，并构建面向大模型新能力的有挑战的评测集，包括与北京大学共建的HalluDial幻觉评测集、与北师大共建的CMMU多模态评测集、多语言跨模态评测集MG18、复杂代码评测集TACO以及长视...
FlagEval大模型角斗场，是智源研究院今年9月推出的面向用户开放的模型对战评测服务，以反映用户对模型的偏好。目前，FlagEval覆盖国内外约50款大模型，支持语言问答、多模态图文理解、文生图、文生视频四大任务的自定义在线或离线盲测。此次评测，共有29个语言模型、16个图文问答多模态模型、7个文生图模型、14个文生视...
此次荣登智源FlagEval“百模”评测榜前列，不仅是对山海大模型技术实力的有力证明，更是对其在人工智能领域持续创新和深耕细作的肯定。未来，云知声将继续秉承创新理念，不断突破技术瓶颈，为人工智能产业的发展贡献更多力量，推动AI技术创新与行业应用的深度融合。（来源：财商资讯）更多精彩资讯请在应用市场下载“极目新闻...
智源评测体系FlagEval再迭代:覆盖全球800+开闭源模型 本次评测依托智源研究院自2023年6月上线的大模型评测平台FlagEval,经过数次迭代,目前已覆盖全球800多个开闭源模型,包含20多种任务,90多个评测数据集,超200万条评测题目。 在评测方法与工具上,智源研究院联合全国10余家高校和机构合作共建,探索基于AI的辅助评测模型...
专项评测结果显示，阿里巴巴Qwen2-Audio位居第一，香港中文大学&微软WavLLM、清华大学&字节跳动Salmon位列第二、第三，Nvidia Audio-Flamingo，MIT & IBM LTU均进入前五。智源研究院副院长兼总工程师林咏华在评测发布会上表示，FlagEval评测体系一直坚守科学、权威、公正、开放的准则，通过技术方法平台持续创新，打造丈量...
智源发布FlagEval「百模」评测结果,丈量模型生态变局 机器之心发布 机器之心编辑部 2024 年 12 月 19 日,智源研究院发布并解读国内外 100 余个开源和商业闭源的语言、视觉语言、文生图、文生视频、语音语言大模型综合及专项评测结果。 相较于今年 5 月的模型能力全方位评估,本次智源评测扩展、丰富、细化了任务...
智源研究院副院长兼总工程师林咏华在评测发布会上表示,FlagEval评测体系一直坚守科学、权威、公正、开放的准则,通过技术方法平台持续创新,打造丈量模型能力的标尺,为大模型技术生态发展提供洞察。2025年,FlagEval评测体系的发展将进一步探索动态评测与多任务能力评估体系,以评测为标尺感知大模型的发展趋势。...
FlagEval Debate对模型的核心能力进行评估，发现了大模型存在的问题。Anthropic Claude - 3 - 5 - sonnet - 20241022等为前三名，这些模型在核心能力方面相对较强，但也不能忽视评测中发现的问题。二、评测方法与工具 智源研究院的评测依托于大模型评测平台FlagEval，这个平台经过数次迭代，已经覆盖了全球800多个开...