由于原版LLaMA对中文的支持非常有限,因此,Chinese-LLaMA-Alpaca在原版 LLaMA 的基础上进一步扩充了中文词表。 Chinese-LLaMA-Alpaca是在通用中文语料上训练了基于 sentencepiece 的20K中文词表并与原版LLaMA模型的32K词表进行合并,排除重复的token后,得到的最终中文LLaMA词表大小为49953。 这一部分需要合并lora权重,对原版...
在学习利用LLaMA进行专业领域大模型部署的过程中，我遇到了一些复杂性，以下记录的步骤和体验旨在为未来复习提供参考。首先，我使用的是配置8张V100显卡的服务器，运行CUDA版本11.6、PyTorch版本1.13.1和Python版本3.10。我基于PyTorch环境准备，包括创建虚拟环境、安装依赖库，特别注意从commit id为13e53fc...