Llama.cpp是一个基于C++编写的NLP工具,而Chinese-Alpaca-2-7b则是一个针对中文的预训练语言模型。本文将指导读者如何在基于S2500 64C*2 ARM64架构的Kylin Server上编译Llama.cpp,并部署Chinese-Alpaca-2-7b模型的CPU版本。 环境准备 硬件环境:S2500 64C*2 ARM64架构的服务器,具备足够的内存和存储空间。 软件环...
本项目通过基于LORA的参数高效微调方法,训练了Tibetan-Llama2和Tibetan-Alpaca藏文大语言模型,分别包括7B和13B两种规模,以上模型是基于Llama2模型架构构建的,经过较大规模数据的增量预训练和指令微调,具备了对藏文的深入理解和处理能力。Tibetan-Llama2和Tibetan-Alpaca在藏文理解和生成任务中表现出了较高的效率和性能,并...
AJAXLONG added 2 commits May 22, 2024 08:57 添加punica算子配置适配chinese-alpaca-llama2-7b 44ffc43 Add Punica operator configuration to adapt to Chinese-Alpaca-Llama2-7b df3e551 Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment Reviewe...
点击图标可以进行一些基本操作,如退出或配置。四、Ollama 的基本使用1. 下载模型在终端或命令提示符中运行以下命令,下载并加载模型(以 LLaMA 7B 为例): ollama pull llama2 ollama generate --model llama2 --input "Hello, how are you?" 2. 进入 Web 界面Ollama 提供了一个基于 Web 的管理界面。运行以...
Reminder I have read the README and searched the existing issues. Reproduction python src/cli_demo.py --model_name_or_path /hy-tmp/model/gemma-7b --template gemma --finetuning_type lora --adapter_name_or_path /home/lzl/python-workspace/l...
本项目通过基于LORA的参数高效微调方法,训练了Tibetan-Llama2和Tibetan-Alpaca藏文大语言模型,分别包括7B和13B两种规模,以上模型是基于Llama2模型架构构建的,经过较大规模数据的增量预训练和指令微调,具备了对藏文的深入理解和处理能力。Tibetan-Llama2和Tibetan-Alpaca在藏文理解和生成任务中表现出了较高的效率和性能,并...