我这提示这个,glm-4-9b-chat,两个16G的不能多卡运行 Member zRzRzRzRzRzRzR commented Jun 8, 2024 问题已经解决,我今天测的时候没有在遇到相似问题,确定你的device map是auto并使用了hf 的最新模型实现 Author zhang19523zhao commented Jun 11, 2024 问题已经解决,我今天测的时候没有在遇到相似问题,确定你...
ollama能够提供更快的推理速度,而且使用方便,怎么作为composite_demo的后端使用呢?zRzRzRzRzRzRzR self-assigned this Jul 14, 2024 Member zRzRzRzRzRzRzR commented Jul 14, 2024 用OpenAI 的API形式接入,Ollama能按照OpenAI的格式做成fastapi zRzRzRzRzRzRzR closed this as not planned Jul 14, 2024 ...
AI知识库搭建,轻松打造个人AI助手,上传文件即可完美使用!#gpt4 #ai #aigc一步之遥 #ai助手 #chatglm - 程序员老张(AI教学)于20231010发布在抖音,已经收获了71.0万个喜欢,来抖音,记录美好生活!