vLLM提供了一个实现OpenAI的Completions API、Chat API等功能的HTTP服务器,本项目介绍使用vLLM官方镜像部署DeepSeek模型,并使用Docker Compose配置文件启动服务。 vLLM官方Docker镜像文件已经同步到腾讯CNB制品库: docker pull docker.cnb.cool/aigc/deepseek-vllm/v
Build with Docker Make sure you have Docker and Docker Compose installed. docker build -t openai-triton-vllm -f openai_triton_vllm.Dockerfile . The execution command for llama3 template in the docker container, /app/bin/openai_trtllm --history-template-file /app/templates/history_template_ll...
docker compose -f docker/docker-compose.dev.yml --env-file src/.env down 查看日志: docker logs<容器名称>#例如:docker logs api-dev 💻 模型支持 1. 对话模型 本项目支持通过 API 调用的模型,本地模型需使用 vllm、ollama 转成 API 服务后使用。
adding a model # It is used to encrypt / decrypt your LLM API Key credentials # We recommned - https://1password.com/password-generator/ # password generator to get a random hash for litellm salt key echo 'LITELLM_SALT_KEY="sk-1234"' > .env source .env # Start docker-compose up ...
#目前支持 MySQL 启动,数据存储在 ./data/mysql 文件夹内docker-compose up -d#查看部署状态docker-compose ps 手动部署 git clone https://github.com/songquanpeng/one-api.git#构建前端cdone-api/web/default npm install npm run build#构建后端cd../.. go mod download go build -ldflags"-s -w"-...
docker-compose 📝docs: align variable names (lobehub#4369) Oct 14, 2024 docs 📝 docs: add deployment on btpanel (lobehub#4528) Oct 31, 2024 locales 💄 style: add fa-ir locale (lobehub#4553) Oct 30, 2024 public ⚡ perf: Use nextjs pwa feat to gen manifest file (lobehub#404...
docker-compose docs locales public scripts src tests .bunfig.toml .changelogrc.js .commitlintrc.js .dockerignore .editorconfig .env.example .eslintignore .eslintrc.js .gitignore .i18nrc.js .npmrc .nvmrc .prettierignore .prettierrc.js .releaserc.js .remarkrc....
关闭服务:docker compose -f docker/docker-compose.dev.yml --env-file src/.env down查看日志:docker logs <容器名称> # 例如:docker logs api-dev💻 模型支持1. 对话模型本项目支持通过 API 调用的模型,本地模型需使用 vllm、ollama 转成 API 服务后使用。
docker compose down 查看日志: docker logs <容器名称> # 例如:docker logs api-dev 💻 模型支持 1. 对话模型 本项目支持通过 API 调用的模型,本地模型需使用 vllm、ollama 转成 API 服务后使用。 模型供应商默认模型配置项目 siliconflow (默认) Qwen/Qwen2.5-7B-Instruct (免费) SILICONFLOW_API_KEY ...
adding a model # It is used to encrypt / decrypt your LLM API Key credentials # We recommned - https://1password.com/password-generator/ # password generator to get a random hash for litellm salt key echo 'LITELLM_SALT_KEY="sk-1234"' > .env source .env # Start docker-compose up ...