部署的开源模型包括:星火13B,Baichuan2-13B, ChatGLM6B等 其他两个模型基于transformers架构封装,因此推理服务启动还是十分丝滑,但星火13B是基于Megatron-DeepSpeed框架实现,地址是:https://gitee.com/iflytekopensource/iFlytekSpark-13B,启动推理服务的过程中发现启动13B的显卡占用71G-78G,有些反直觉。 此文就是整理开...
部署的开源模型包括:星火13B,Baichuan2-13B, ChatGLM6B等 其他两个模型基于transformers架构封装,因此推理服务启动还是十分丝滑,但星火13B是基于Megatron-DeepSpeed框架实现,地址是:https://gitee.com/iflytekopensource/iFlytekSpark-13B,启动推理服务的过程中发现启动13B的显卡占用71G-78G,有些反直觉。 此文就是整理开...
快科技1月30日消息，今天讯飞正式发布了星火开源-13B，这是首个基于全国产化算力平台”飞星一号”的开源大模型。目前，华为昇思开源社区已正式上架星火大模型开源版-13B，面对学术、企业研究完全免费，增进学术合作的同时，增进产业探索。据了解，本次开源拥有130亿稠密参数（13B），包含基础模型iFlytekSpark-13B-base、...
此文就是整理开源星火13B的显存及内存排查并优化的整理过程,至于哪家开源模型效果好,不在此文的讨论范围内。 2. 原因分析 直观上来说,13B的模型,数据类型为bf16,显卡占用大概在26G左右,但星火13B直接占用70G+,不可思议,怪不得网上关于星火开源模型的讨论少之又少,原因显而易见,这么大的显存占用只能用多卡或者A...
此外，科大讯飞还首次开源了深度适配国产算力，拥有130亿参数的iFlytekSpark-13B模型（星火开源-13B）。不仅场景应用效果领先，而且还对学术和企业研究完全免费。昇思MindSpore开源社区：https://xihe.mindspore.cn/modelzoo/iflytek/introduce 启智社区：https://openi.pcl.ac.cn/iflytek/iFlytekSpark-13B Gitee地址：...
讯飞星火开源-13B(iFlytekSpark-13B)拥有130亿参数,在经过累计超过3万亿以上tokens海量高质量数据集上进行预训练,然后在精调的多元化对齐数据上进行微调得到。iFlytekSpark-13B在多个标准评估中展现出了卓越的性能,其表现优于同参数量级的开源模型. iFlytekSpark-13B不仅具备通用任务处理能力如聊天、问答、文本提取和分类...
LLM优化:开源星火13B显卡及内存占用优化 1. 背景 本qiang~这两天接了一个任务,部署几个开源的模型,并且将本地经过全量微调的模型与开源模型做一个效果对比。 部署的开源模型包括:星火13B,Baichuan2-13B, ChatGLM6B等 其他两个模型基于transformers架构封装,因此推理服务启动还是十分丝滑,但星火13B是基于Megatron-...
1月30日，科大讯飞在人工智能领域取得了重大突破，发布了基于全国产化算力平台“飞星一号”的首个开源大模型——星火开源-13B，为行业发展注入了新的活力。这一重大举措不仅标志着科大讯飞在技术创新上的新突破，也为广大开发者、高校、企业提供了一个共建第一开发者生态的重要平台。广大开发者、高校和企业热衷于开源...
根据科大讯飞官方公布的测试,星火开源-13B 在多个方面都领先其他同尺寸开源模型 20%+。 此外,星火开源-13B 针对国产软硬件环境深度优化,基于“飞星一号”进行训练,全栈国产适配优化。 IT之家从发布会获悉,星火开源-13B 大模型已在华为昇思开源社区首发上线,感兴趣的小伙伴可以前往体验。
快科技1月30日消息,今天讯飞正式发布了星火开源-13B,这是首个基于全国产化算力平台”飞星一号”的开源大模型。 目前,华为昇思开源社区已正式上架星火大模型开源版-13B,面对学术、企业研究完全免费,增进学术合作的同时,增进产业探索。 据了解,本次开源拥有130亿稠密参数(13B),包含基础模型iFlytekSpark-13B-base、精调...