Chinese-LLaMA-Alpaca-2(中文羊驼)是基于Meta发布的可商用大模型LLaMA2微调的中文大模型,LLaMA2只支持英文,而中文羊驼支持中英文。 本文以Chinese-LLaMA-Alpaca-2-13b大模型为例,如果你的内存或者显存比较小,建议使用7B的,效果应该不会相差太多,官方的下载地址。 以HuggingFace为例,将Files and versions里面的所有文件...
cd Chinese-LLaMA-Alpaca-2 cd scripts/langchain 场景1:生成摘要 将vLLM的模型权重目录移动过来 mv ~/vllm/chinese-alpaca-2-7b-hf . python langchain_sum.py --model_path chinese-alpaca-2-7b-hf --file_path doc.txt --chain_type refine (langchain) zhanghui@zhanghui-OMEN-by-HP-Laptop-17-ck...
Chinese-LLaMA-Alpaca-2(中文羊驼)是基于Meta发布的可商用大模型LLaMA2微调的中文大模型,LLaMA2只支持英文,而中文羊驼支持中英文。 本文以Chinese-LLaMA-Alpaca-2-13b大模型为例,如果你的内存或者显存比较小,建议使用7B的,效果应该不会相差太多,官方的下载地址。 以HuggingFace为例,将...
目前主流的基座模型依然为 Transformer 架构，基于该模型进行训练的有 Meta 公司出品 的 LLaMA 模型，随后就有美国众多高校推出以 LLaMA 为基座的有“羊驼”类模型 Alpaca 和 Vicuna。而在国内，除了 ChatGLM 是基于 GLM 架构进行开发，其余主流大语言模型基 本都是以 Transformer 为基础训练。大语言模型评价指标介绍...
本项目的最新版本中通过使用 FastChat接入Vicuna, Alpaca, LLaMA, Koala, RWKV 等模型,依托于 langchain框架支持通过基于 FastAPI 提供的 API 用服务,或使用基于 Streamlit 的WebUI 进行操作。 依托于本项目支持的开源 LLM 与Embedding 模型,本项目可实现全部使用开源模型离线私有部署。与此同时,本项目也支持 OpenAI...
受GanymedeNil和AlexZhangji的启发，我们构建了一个全开源模型驱动的本地知识库问答系统，支持ChatGLM-6B和其他模型通过fastchat api接入，包括Vicuna、Alpaca、LLaMA、Koala、RWKV等。默认使用GanymedeNil/text2vec-large-chinese作为嵌入，并使用ChatGLM-6B作为语言模型。基于上述模型，此项目可在离线环境中...
本项目的最新版本中通过使用FastChat接入 Vicuna, Alpaca, LLaMA, Koala, RWKV 等模型,依托于langchain框架支持通过基于FastAPI提供的 API 调用服务,或使用基于Streamlit的 WebUI 进行操作。 ✅ 依托于本项目支持的开源 LLM 与 Embedding 模型,本项目可实现全部使用开源模型离线私有部署。与此同时,本项目也支持 ...
本项目的最新版本中通过使用FastChat接入 Vicuna, Alpaca, LLaMA, Koala, RWKV 等模型,依托于langchain框架支持通过基于FastAPI提供的 API 调用服务,或使用基于Streamlit的 WebUI 进行操作。 ✅ 依托于本项目支持的开源 LLM 与 Embedding 模型,本项目可实现全部使用开源模型离线私有部署。与此同时,本项目也支持 ...
我们通过 QLoRA 微调将 Llama-3-8B-Instruct 的上下文长度从 8K 扩展到 80K。 整个训练过程非常高效,在一台8xA800 (80G) GPU 机器上仅需要8个小时。 该模型在NIHS、主题检索和长上下文语言理解等广泛的评估任务中表现出卓越的性能; 同时,它在短上下文中也很好地保留了其原有的能力。 如此强大的长文本能力主要...
In the latest version of this project, FastChat is used to access Vicuna, Alpaca, LLaMA, Koala, RWKV and many other models. Relying on langchain , this project supports calling services through the API provided based on FastAPI, or using the WebUI based on Streamlit. ✅ Relying on the...