由清华大学开源 #chatgpt应用领域 #chatGLM 查看AI文稿 46Neo.me 02:31 ChatGLM2-6B(示例1)之本地安装教程,GPT的头号对手ChatGLM可以断网运行#ChatGLM #chatglm2 #AI 查看AI文稿 414暴躁哐哐 00:52 集成显卡显存设置多大合适 477装机吧 2雨诺爱编程...
找到web_demo2.py 根据自己的显卡显存调整一下量化等级代码: ...@st.cache_resourcedefget_model():tokenizer=AutoTokenizer.from_pretrained("THUDM/chatglm2-6b-int4",trust_remote_code=True)model=AutoModel.from_pretrained("THUDM/chatglm2-6b-int4",trust_remote_code=True).quantize(4).cuda()# 多...