from modellink.error_utils import ensure_valid _FLOAT_TYPES = torch.FloatTensor _HALF_TYPES = torch.HalfTensor _BF16_TYPES = torch.BFloat16Tensor def param_is_not_shared(param): return not hasattr(param, 'shared') or not param.shared class MegatronModule(torch.nn.Module): ...
一、问题现象(附报错日志上下文): 使用modellink微调llama2_7B时,数据集dataset正常构建加载,但是在传入模型时显示list index out of range 二、软件版本: -- CANN 版本 : CANN8.0.RC2.2 --Python 版本 : Python 3.8.10 --操作系统版本 : Ubuntu 22.04 三、测试步骤: https://gitee.com/ascend/MindSpeed-LL...
GVPAscend/MindSpeed-LLM 加入Gitee 与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :) 免费加入 已有帐号?立即登录 文件 daa397b 克隆/下载 git config --global user.name userName git config --global user.email userEmail
硬件配置 NPU 8 x Ascend NPUs 脚本 克隆仓库到本地服务器 git clone https://gitee.com/ascend/ModelLink.git git clone https://github.com/NVIDIA/Megatron-LM.git cd Megatron-LM git checkout -f bcce6f cp -r megatron ../ModelLink/ cd .. cd ModelLink mkdir logs mkdir model_from_hf mkdir...
git clone https://gitee.com/ascend/ModelLink.git cd ModelLink mkdir logs mkdir ckpt 搭建conda环境 # python3.8 conda create -n test python=3.8 conda activate test # 通过互联网上提供的pip源安装 torch,可能需要尝试合适的包含这个torch==2.1.0版本的pip源 pip install torch==2.1.0 # 通过PTA上...
ModelLink 使用指南 目录 环境安装 【模型开发时推荐使用配套的环境版本】 软件版本 Python3.8 Driver在研版本 Firmware在研版本 CANN在研版本 Torch2.1.0、2.2.0 Torch_npu在研版本 1. 仓库拉取 git clone https://gitee.com/ascend/ModelLink.git git clone https://github.com/NVIDIA/Megatron-LM.git cd ...
help='Directory containing a lora model checkpoint.') group.add_argument('--lora-r', type=int, default=16, help='Lora r.') group.add_argument('--lora-alpha', type=int, default=32, help='Lora alpha.') group.add_argument('--lora-modules-to-save', nargs='+', type=str,...
modellink / model / moe.py moe.py3.55 KB 一键复制编辑原始数据按行查看历史 王晶提交于12个月前.Mixtral 8*7B实现,增加专家并行能力,提供权重互转脚本 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979...
modellink / model / moe.py moe.py4.10 KB 一键复制编辑原始数据按行查看历史 liujianxing提交于11个月前.token重排优化特性添加开关,并统一规范参数格式(noisy_gate_policy设置为noisy-gate-policy) # coding=utf-8 # Copyright (c) 2024, HUAWEI CORPORATION. All rights reserved. ...
MeiFei/ModelLink forked fromAscend/MindSpeed-LLM 加入Gitee 与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :) 免费加入 已有帐号?立即登录 文件 master 克隆/下载 git config --global user.name userName git config --global user.email userEmail ...