部署的开源模型包括:星火13B,Baichuan2-13B, ChatGLM6B等 其他两个模型基于transformers架构封装,因此推理服务启动还是十分丝滑,但星火13B是基于Megatron-DeepSpeed框架实现,地址是:https://gitee.com/iflytekopensource/iFlytekSpark-13B,启动推理服务的过程中发现启动13B的
快科技1月30日消息，今天讯飞正式发布了星火开源-13B，这是首个基于全国产化算力平台”飞星一号”的开源大模型。目前，华为昇思开源社区已正式上架星火大模型开源版-13B，面对学术、企业研究完全免费，增进学术合作的同时，增进产业探索。据了解，本次开源拥有130亿稠密参数（13B），包含基础模型iFlytekSpark-13B-base、...
部署的开源模型包括:星火13B,Baichuan2-13B, ChatGLM6B等 其他两个模型基于transformers架构封装,因此推理服务启动还是十分丝滑,但星火13B是基于Megatron-DeepSpeed框架实现,地址是:https://gitee.com/iflytekopensource/iFlytekSpark-13B,启动推理服务的过程中发现启动13B的显卡占用71G-78G,有些反直觉。 此文就是整理开...
讯飞星火开源-13B(iFlytekSpark-13B)拥有130亿参数,在经过累计超过3万亿以上tokens海量高质量数据集上进行预训练,然后在精调的多元化对齐数据上进行微调得到。iFlytekSpark-13B在多个标准评估中展现出了卓越的性能,其表现优于同参数量级的开源模型. iFlytekSpark-13B不仅具备通用任务处理能力如聊天、问答、文本提取和分类...
1月30日,讯飞正式发布了星火开源-13B(iFlytekSpark-13B),这是首个基于全国产化算力平台「飞星一号」的开源大模型。 模型介绍 讯飞星火开源-13B(iFlytekSpark-13B)拥有130 亿参数。不仅具备通用任务处理能力如聊天、问答、文本提取和分类等,还具备数据分析和代码生成等生产力功能。讯飞团队特别在学习辅助、数学、推理等...
1月30日，科大讯飞举行星火认知大模型V3.5升级发布会。科大讯飞董事长刘庆峰、研究院院长刘聪正式发布基于首个全国产算力训练的讯飞星火V3.5，同时发布星火语音大模型、讯飞星火开源大模型“星火开源-13B”等。刘庆峰认为，2024年，通用人工智能不仅能在中国各大领域深度广泛应用，而且在源头技术创新、在大模型的底层...
金融界2月15日消息，有投资者在互动平台向科大讯飞提问：贵公司是否有开源模式的计划。公司回答表示：科大讯飞在认知智能领域陆续开源了6个大类、超过40个通用领域的系列中文预训练语言模型，并于2024年1月发布深度适配国产算力的星火开源-13B模型。本文源自：金融界 作者：公告君 ...
1月30日，科大讯飞在人工智能领域取得了重大突破，发布了基于全国产化算力平台“飞星一号”的首个开源大模型——星火开源-13B，为行业发展注入了新的活力。这一重大举措不仅标志着科大讯飞在技术创新上的新突破，也为广大开发者、高校、企业提供了一个共建第一开发者生态的重要平台。广大开发者、高校和企业热衷于开源...
讯飞星火开源-13B(iFlytekSpark-13B)拥有130亿参数,新一代认知大模型,一经发布,众多科研院所和高校便期待科大讯飞能够开源。 为了让大家使用的更加方便,科大讯飞增加了更多的数据,并针对工具链进行了优化。此次正式开源拥有130亿参数的iFlytekSpark-13B模型(讯飞星火开源-13B),也是首个基于全国产化算力平台“飞星一号”...
针对开源星火13B显卡及内存占用优化的问题，可以采取以下措施：1. 使用CPU预加载模型 问题描述：星火13B模型在初始化过程中，直接将权重文件加载至显卡，导致显存占用过高。 优化方法：在启动推理服务的脚本中加入参数”use_cpu_initialization”，使模型初始化时先将权重加载至CPU，然后再转移到GPU...