docker pull ghcr.io/huggingface/text-embeddings-inference:cpu-1.5 02.容器镜像 - GPU docker pull ghcr.io/huggingface/text-embeddings-inference:89-1.5 注:标签 89-1.5 是 Ada Lovelace 架构 GPU 可以运行在 RTX 4000 系列 GPU 上。注:如果使用 Ampere 架构系列 GPU 需要下载标签 1.5 或 86-1.5 系列镜...
快速部署bge-m3和bge-reranker-v2-m3 推荐一下Dify,我也是通过dify文档了解到xinference,部署模型很方便。 安装xinference docker 源目前用不了,国内源也很慢。 最后使用了ubuntu 22.04的镜像,pip清华源,安装很快 pip install "xinference[all]" 将服务跑起来 这个我用screen持久化 #!/bin/bash# 修改环境变量...
OS: Docker on Debian 12 Model: dophys/bge-m3_finetuned Hardware: 1 NVIDIA_L4 Information Docker The CLI directly Tasks An officially supported command My own modifications Reproduction #!/bin/bashIMAGE="ghcr.io/huggingface/text-embeddings-inference:cuda-latest"MODEL=dophys/bge-m3_finetuned do...
main 1Branch0Tags Code Folders and files Name Last commit message Last commit date Latest commit tosone 🎉 Initial commit Mar 2, 2024 9b7aeec·Mar 2, 2024 History 1 Commit .gitignore 🎉 Initial commit Mar 2, 2024 Dockerfile 🎉 Initial commit ...
AMD7900xt测试deepseek R1 qwen 32b Q4蒸馏模型速度 15tok/sec Karin-Ono 最快的N卡和最快的A卡跑DeepSeek谁更快?RTX 5090比RX 7900 XTX快一倍! 科技观察官 DeepSeek 671b 1.58b 万元级硬件 低成本本地部署,9950X 192G parodic 00:56 本地部署DeekSeek-14b以上才有点智商,满血版YYDS,70b也犯晕 ...
在Docker里面部署好了Dify,就可以在浏览器中输入 https://localhost/install来打开Dify配置页面。 第一步 创建智能体应用 点击 左侧“创建空白应用",在如下界面中点击”Agent“。 给名称和图标,创建完成。 第二步 配置智能体的模型 点击上一步中创建好的智能体,点击去 "去设置", 就可以输入申请的API Key或者...
第三步 在Docker里面部署Dify 在Windows里打开WSL,进入Linux环境命令行。 下载代码: git clone https://github.com/langgenius/dify.git cd dify/docker 配置环境: cp.env.example.env//.env.example之间没有空格 启动服务: 如果你使用的是Docker Compose V2(可以用“docker compose version”命令查看): ...
Breadcrumbs bge-m3-server / README.md Latest commit tosone 🎉 Initial commit 9b7aeec· Mar 2, 2024 HistoryHistory File metadata and controls Preview Code Blame 5 lines (4 loc) · 96 Bytes Raw bge-m3-server docker build --build-arg=USE_CHINA_MIRROR=true --progress plain ....
Files main .gitignore Dockerfile LICENSE README.md requirements.txt server.pyBreadcrumbs bge-m3-server/ LICENSELatest commit Cannot retrieve latest commit at this time. HistoryHistoryFile metadata and controls Code Blame 21 lines (17 loc) · 1.04 KB...
1.2 启动Docker 如果启动了其他网络服务,比如IIS,那默认端口80可能被占用,需要先停掉IIS,然后再启动docker。 1.3 打开Dify 在浏览器里面输入http://localhost访问页面,输入用户名和密码登录Dify平台。 第二步:配置Dify 1.1 创建Agent 添加model,逻辑推理用deepseek-r1:14b; embedding用bge-m3。