同样的,我们再用相似的手法来测试qwen-14b。我这里分开两个notebook运行是因为kaggle不能同时训练两个大模型,显存会爆。这里我就不展示qwen-14b的测试代码了,感兴趣可以在kaggle搜索: chatglm3 vs qwen-14b 同时,我这里提供的书评是来自 github 的uer-py 项目,需要用于更进一步测试的同学可以找来更多例子来进行深...
问题一:310推理服务器用MindIE推理chatglm3_6b,2卡和4卡可以起来,6卡和8卡起不起来 报错信息: 6卡 8卡,等了很长时间起动不起来 问题二:310推理服务器推理qwen1.5_7b_chat,4卡服务器启动,但是回复等很长时间,回复答案为空,有报错信息本帖最后由 hjm 于2024-11-28 20:12:20 编辑 wangchuanyi 帖子 82 ...
当我将LLM模型从chatglm3-6b切换到qwen-1_8B的时候对话就会报错,只有在我使用docker运行时会出现,直接在linux服务器上运行没有发现这个问题,这两种情况使用的模型是相同的 报错信息如下 2024-05-16 07:45:25,858 - utils.py[line:38] - ERROR: object of type 'NoneType' has no len() Traceback (most ...
"chatglm3-6b", "Qwen-14b-Chat", "Qwen-1_8B-Chat", "openai-api" "openai-api", "Qwen-14B-Chat", "Qwen-7B-Chat", ] LLM_MODEL_CONFIG = { # 意图识别不需要输出,模型后台知道就行 "preprocess_model": { "zhipu-api": { "temperature": 0.4, "max_tokens": 2048, "history_len": ...
但想您贴的这种接口,看起来是需要类似 https://github.com/QwenLM/Qwen-Agent/blob/main/qwen_agent/llm/oai.py 这样实现一个新的LLM类。 GanPeixin commented Jul 23, 2024 您好,请问您这边解决好用requests调用私有云大模型时怎样适配qwen-agent了吗? Sign up for free to join this conversation on ...
# ChatGLM2-6B # ChatGLM3-6B-32K This is a repo to build and inference ChatGLM2-6B with TRT-LLM. This document explains how to build the [ChatGLM2-6B](https://huggingface.co/THUDM/chatglm2-6b) model using TensorRT-LLM and run on a single GPU. This is a repo to build and inf...
"chatglm3-6b", "Qwen-14b-Chat", "Qwen-1_8B-Chat", "openai-api" "openai-api", "Qwen-14B-Chat", "Qwen-7B-Chat", ] LLM_MODEL_CONFIG = { # 意图识别不需要输出,模型后台知道就行 "preprocess_model": { "zhipu-api": { "temperature": 0.4, "max_tokens": 2048, "history_len":...