登录后,进入算力市场选择合适的GPU实例,如RTX 4090,因为ChatGLM3-6B需要13G以上的显存。 配置基础镜像,确保选择了包含Python和相关深度学习库的镜像。 获取ChatGLM模型与配置文件: 你可以通过Hugging Face的模型仓库下载ChatGLM3-6B模型文件。由于模型文件较大,建议使用学术资源加速下载。 在AutoDL实例中,可以通过设置...
【chatglm3】(8):模型执行速度优化,在4090上使用fastllm框架,运行ChatGLM3-6B模型,速度1.1w tokens/s,真的超级快。 5.1万 15 7:01 App P2_AutoDL平台Pycharm使用教程 6624 1 17:27 App 【ollama】(4):在autodl中安装ollama工具,配置环境变量,修改端口,使用RTX 3080 Ti显卡,测试coder代码生成大模型 16.1...
{n_words / time_seconds} words/s." ) if __name__ == "__main__": parser = argparse.ArgumentParser() parser.add_argument("--api-address", type=str, default="http://localhost:8000") parser.add_argument("--model-name", type=str, default="chatglm3-6b") parser.add_argument("--...