修改完成后执行python web_demo.py,会看到正在加载模型。 加载完成后:访问:租用的这个算力不提供公网ip,他们是通过url:port的方式,且只暴露了6006端口。 参考:https://www.autodl.com/docs/port/安装M3E-large#与ChatGLM2类似在root目录下执行: git clone https://huggingface.co/moka-ai/m3e-large 删除目录...
--pre_seq_len $PRE_SEQ_LEN 修改web_demo.py文件里的监听IP为0.0.0.0,端口号改为27777,方便我们从浏览器访问 修改后的启动代码是 demo.queue().launch(share=True, inbrowser=True, server_port=27777, server_name="0.0.0.0") 如图: 接着命令行执行bash web_demo.sh开始运行模型,出现http://0.0.0.0:...
修改web_demo.py文件 修改模型的加载路径(改为本机pretrain文件的路径) 修改模型的启动代码(ChatGLM3-6B的服务端口为7000); 打开云计算机的7000端口(访问自己ChatGLM模型,需要通过此端口) 点击云平台右侧添加端口按钮 ; 选择要添加的端口号(7000); 启动ChatGLM3 在终端中进入ChatGLM3源码根目录; 输入python web...
``` 下载完成后,把运行的web_demo.py或者其它文件里面的模型径路修改 API部署 首先需要安装额外的依赖 `pip install fastapi uvicorn` ``` python api.py ``` 默认部署在本地的 8000 端口,通过 POST 方法进行调用 ``` curl -X POST "http://127.0.0.1:8000" \ -H 'Content-Type: application/json' ...
和方法1类似,这里也主要是修改web_demo2.py配置文件,将“THUDM/chatglm3-6b”修改成自己的模型文件路径。然后执行以下命令,直接就可以启动该脚本了。另外,该种方式可以直接通过命令指定服务的端口、IP地址。 代码语言:javascript 复制 streamlit run web_demo2.py--server.address='0.0.0.0'--server.port=8099 ...
修改为: demo.queue().launch(share=True, inbrowser=True, server_name='0.0.0.0', server_port=9072) server_port为端口号,当然也可以不修改,使用默认端口号。 2.启动api接口 同上修改模型地址/量化方式 python web_demo.py 3.启动命令行模式
vim web_demo2.py 1. e. 点击i进入编辑模式。将tokenizer和model两个变量内部的文件路径,做如下修改。另外,可以对st.title内的参数做个性化修改,比如修改成“我的ChatGLM2-6B",或者其他名称。完成编辑后,点击esc(注意:需要切换回英文输入法),然后输入:wq后点击回车,保存并退出web_demo2.py。
python web_demo.py 8.API部署 首先需要安装额外的依赖 pip install fastapi uvicorn 将api.py中的"THUDM/chatglm2-6b"修改为"D:\ChatGLM2-6B" tokenizer = AutoTokenizer.from_pretrained("D:\ChatGLM2-6B", trust_remote_code=True) model = AutoModel.from_pretrained("D:\ChatGLM2-6B", trust_remot...
# 按需修改，目前只支持 4/8 bit 量化 model = AutoModel.from_pretrained("THUDM/chatglm-6b", ...
1、web_demo如何开放给其他人用?如何修改端口? 可以在web_demo.py的最后一行,修改为 demo.queue().launch(share=False, inbrowser=True, server_name='192.168.XX.XX', server_port=XXXX) 2、我爆显存了,如何开启量化? 双击01Ptuning(8G).bat脚本启动量化训练 ...