在训练任务场景中,除了支持 PyTorch、TensorFlow,FlagPerf 还在积极与 PaddlePaddle、MindSpore 研发团队密切配合。作为国产训练框架的领军者,百度 Paddle团队、华为昇思MindSpore 团队正在将 Llama、GPT3 等明星模型集成至 FlagPerf 测试样例集。 在推理任务场景中,FlagPerf 适配了多家芯片厂商和训练框架研发团队的推理加速...
作为面向多种AI硬件的一体化评测引擎，FlagPerf 目标是支持多种芯片和深度学习框架，构建专业且不断迭代的评测体系，赋能 AI 产业生态的发展和繁荣。目前，FlagPerf 已经联合天数智芯、百度 PaddlePaddle、昆仑芯科技、中国移动等企业开展 AI 硬件评测建设的工作。（四）FlagEval：多领域、多维度的基础大模型评测开源项...
目前,FlagPerf 已经联合、 PaddlePaddle、昆仑芯科技、等企业开展 AI 硬件评测建设的工作。 (四)FlagEval:多领域、多维度的基础大模型评测开源项目 为推进大模型研发的落地,以及对生成任务的客观评价,智源构建了大模型评测工具开源项目 FlagEval,希望未来能够满足多维度、多模态领域的全面评测。 FlagEval 首先开放的是...
FlagPerf 包含了多模态领域的Stable Diffusion 模型样例,Stable Diffusion是近两年AIGC领域、文生图任务的经典多模态模型。 在评测时,FlagPerf 在功能正确性指标中增加了对于“模型输出内容”的评测,使用模型作者公开论文中针对生成图片的评测指标 CLIP score,来考察AI硬件是否能够正确地支撑模型完成“文本-图片”生成任务。
https://github.com/FlagOpen/FlagPerf 一、FlagPerf 评测对象和场景新升级 1.1支持千卡集群评测 针对千卡集群搭建面临的组网复杂、大规模并行扩展等挑战，FlagPerf制定并实施了面向单机至千卡的统一评测方案与评测软件并开源。FlagPerf 已在超过三款不同厂商AI芯片分别组成的千卡集群实践上述评测方案与评测软件，获取...
近日,FlagPerf推出重要升级,支持千卡集群评测,并构建了高度可适配的多模态大模型(LMM)、混合专家大模型(MoE)预训练评测方案,以评测芯片在此类新兴场景下的高性能计算和适应能力。在持续跟进前沿需求方面,针对新问世的llama3系列模型,FlagPerf计划在月底支持并供厂商适配。
目前FlagPerf v1.0 已涵盖自然语言处理、计算机视觉、语音、多模态等领域的20余个经典模型,50余个训练样例,并与天数智芯、昆仑芯科技、百度PaddlePaddle、华为昇腾AI及昇思MindSpore、摩尔线程、腾讯九霄等厂商进行深度合作,完成了FlagPerf 与多种芯片、框架的适配及评测。
为加速大模型方向的协同创新,智源于近日发布 FlagOpen(飞智)大模型技术开源体系,其主要包括 FlagAI、FlagPerf、FlagEval、FlagData、FlagBoot 和 FlagStudio 六个部分。 全新推出大模型技术开源体系,赋能中国大模型技术创新能力提升 (一)FlagOpen(飞智):大模型技术开源体系 FlagOpen 是智源与多家产学研单位共同构建的...
为加速大模型方向的协同创新,智源于近日发布 FlagOpen(飞智)大模型技术开源体系,其主要包括 FlagAI、FlagPerf、FlagEval、FlagData、FlagBoot 和 FlagStudio 六个部分。 全新推出大模型技术开源体系,赋能中国大模型技术创新能力提升 (一)FlagOpen(飞智):大模型技术开源体系 ...
商标名称 FLAGPERF 国际分类 第09类-科学仪器 商标状态 初审公告 申请/注册号 69741931 申请日期 2023-02-22 申请人名称(中文) 北京智源人工智能研究院 申请人名称(英文) - 申请人地址(中文) 北京市海淀区成府路150号5层501号 申请人地址(英文) - 初审公告期号 1841 初审公告日期 2023-05-27 注册公告期号...