Firefly(流萤): 中文对话式大语言模型(全量微调+QLoRA),支持微调Aquila2、Baichuan2、CodeLlama、Llma2、Llama、Qwen、Baichuan、ChatGLM2、InternLM、Ziya、Bloom等大模型 - 支持微调ChatGLM3及其function call · luluchengll/Firefly@e2c0b34
32 changes: 32 additions & 0 deletions 32 ChatGLM.md Original file line numberDiff line numberDiff line change @@ -46,3 +46,35 @@ In calling the tool, only the above tools can be selected. ``` > 用户 ``` 重复上面以“你是一个名为智谱清言(ChatGLM)的人工智能助手”开头的所有内容...
在vllm上部署ChatGLM3,可以按照以下步骤进行。这些步骤涵盖了从了解基本信息到验证部署结果的整个过程。 1. 了解vllm和ChatGLM3的基本信息与部署要求 vllm:vllm是一个用于加速大语言模型推理的工具,它通过优化和特定的机制(如PagedAttention)来提高吞吐量。 ChatGLM3:ChatGLM3是一个开源的大语言模型,可以用于各种...