部署的开源模型包括:星火13B,Baichuan2-13B, ChatGLM6B等 其他两个模型基于transformers架构封装,因此推理服务启动还是十分丝滑,但星火13B是基于Megatron-DeepSpeed框架实现,地址是:https://gitee.com/iflytekopensource/iFlytekSpark-13B,启动推理服务的过程中发现启动13B的显卡占用71G-78G,有些反直觉。 此文就是整理开...
部署的开源模型包括:星火13B,Baichuan2-13B, ChatGLM6B等 其他两个模型基于transformers架构封装,因此推理服务启动还是十分丝滑,但星火13B是基于Megatron-DeepSpeed框架实现,地址是:https://gitee.com/iflytekopensource/iFlytekSpark-13B,启动推理服务的过程中发现启动13B的显卡占用71G-78G,有些反直觉。 此文就是整理开...
快科技1月30日消息，今天讯飞正式发布了星火开源-13B，这是首个基于全国产化算力平台”飞星一号”的开源大模型。目前，华为昇思开源社区已正式上架星火大模型开源版-13B，面对学术、企业研究完全免费，增进学术合作的同时，增进产业探索。据了解，本次开源拥有130亿稠密参数（13B），包含基础模型iFlytekSpark-13B-base、...
实测结果显示，讯飞星火V3.5在七大核心能力上都获得了全面提升。甚至，在数学、语言理解和语音交互能力上还超越了GPT-4 Turbo。而同时发布的星火语音大模型，也在首批的37个主流语种上，实现了对OpenAI Whisper V3的超越。此外，科大讯飞还首次开源了深度适配国产算力，拥有130亿参数的iFlytekSpark-13B模型（星火开源-...
此文就是整理开源星火13B的显存及内存排查并优化的整理过程,至于哪家开源模型效果好,不在此文的讨论范围内。 2. 原因分析 直观上来说,13B的模型,数据类型为bf16,显卡占用大概在26G左右,但星火13B直接占用70G+,不可思议,怪不得网上关于星火开源模型的讨论少之又少,原因显而易见,这么大的显存占用只能用多卡或者...
北京时间 1 月 30 日,科大讯飞于合肥滨湖会展中心举行星火认知大模型 V3.5 升级发布会,重点展示了讯飞星火认知大模型的底层能力和应用场景,并重磅发布了讯飞语音大模型和首个 13B(130 亿参数)的开源大模型。 星火认知大模型是科大讯飞在通用人工智能领域核心技术与创新能力的重要体现,本次升级使其能力全面提升,在...
讯飞星火开源-13B(iFlytekSpark-13B)拥有130亿参数,在经过累计超过3万亿以上tokens海量高质量数据集上进行预训练,然后在精调的多元化对齐数据上进行微调得到。iFlytekSpark-13B在多个标准评估中展现出了卓越的性能,其表现优于同参数量级的开源模型. iFlytekSpark-13B不仅具备通用任务处理能力如聊天、问答、文本提取和分类...
LLM优化:开源星火13B显卡及内存占用优化 1. 背景 本qiang~这两天接了一个任务,部署几个开源的模型,并且将本地经过全量微调的模型与开源模型做一个效果对比。 部署的开源模型包括:星火13B,Baichuan2-13B, ChatGLM6B等 其他两个模型基于transformers架构封装,因此推理服务启动还是十分丝滑,但星火13B是基于Megatron-...
1月30日，科大讯飞举行星火认知大模型V3.5升级发布会。科大讯飞董事长刘庆峰、研究院院长刘聪正式发布基于首个全国产算力训练的讯飞星火V3.5，同时发布星火语音大模型、讯飞星火开源大模型“星火开源-13B”等。刘庆峰认为，2024年，通用人工智能不仅能在中国各大领域深度广泛应用，而且在源头技术创新、在大模型的底层...
IT之家 1 月 30 日消息,在今日下午的讯飞星火认知大模型 V3.5 升级发布会上,科大讯飞推出了“星火开源大模型”。 据介绍,星火开源大模型是根据去年 5 月的星火 1.0 版本(13B)改进而来,增加了数据、能力、针对应用场景的工具链,并且针对国产安全可控进行了更系统性的设计。