Yi-34B-Chat-4bits模型: https://modelscope.cn/models/01ai/Yi-34B-Chat-4bits/summary Yi-34B-Chat-8bits模型: https://modelscope.cn/models/01ai/Yi-34B-Chat-8bits/summary 社区支持直接下载模型的repo: from modelscope import snapshot_download model_dir = snapshot_download("01ai/Yi-34B-Chat"...
2023年11月30日Yi-6B-Chat模型及4bits和8bits量化版零一万物团队也已经正式发布了出来。Yi-34B-Chat 4bit 量化版模型可以直接在消费级显卡(如RTX3090)上使用。除了 Yi 系列基座模型能力之外,Yi-34B-Chat 模型的效果也得益于人工智能对齐(AI Alignment)方面采用了一系列创新对齐策略。通过精心设计的指令微调流程,不...
Yi-34b-int8版: python -m vllm.entrypoints.openai.api_server \ --model 01ai/Yi-34B-Chat-8bits \ --tokenizer 01ai/Yi-34B-Chat-8bits \ --max-model-len 4096 \ --tensor-parallel-size 2 \ --gpu-memory-utilization 0.9 \ --quantization gptq internlm2-chat-20b全量版: 这里部署的时候,...
Yi-6B-Chat-8bits You can try some of them interactively at: Hugging Face Replicate 🔔 2023-11-23: The Yi Series Models Community License Agreement is updated to v2.1. 🔥 2023-11-08: Invited test of Yi-34B chat model. Application form: English Chinese 🎯 2023-11-05: The base mo...
Yi-6B-Chat-8bits You can try some of them interactively at: HuggingFace Replicate 🔔2023/11/23: The Yi Series Models Community License Agreement is updated to v2.1. 🔥2023/11/08: Invited test of Yi-34B chat model. Application form: ...
* `Yi-34B-Chat` * `Yi-34B-Chat-4bits` * `Yi-34B-Chat-8bits` * `Yi-6B-Chat` * `Yi-6B-Chat-4bits` * `Yi-6B-Chat-8bits` You can try some of them interactively at: 🔔 2023-11-23: The Yi Series Models Community License Agreement is updated to v2.1. 🔥 2023-11-08: ...
特别是Yi-34B-Chat模型在AlpacaEval排行榜上超越了其他大型语言模型,展示了它在个人和商业应用中的潜力。此外,Yi学习中心提供教育资源,帮助用户最大限度地发挥Yi模型的能力。对于那些对AI开发感兴趣的人来说,Yi系列的开源性质,根据Apache 2.0许可证,以及为提高效率而进行的量化,使其成为进行学术研究和在获得许可的...
git clone https://huggingface.co/01-ai/Yi-34B-Chat-4bits 无法科学上网的,可以使用镜像仓库 git clone https://hf-mirror.com/01-ai/Yi-34B-Chat-4bits 但镜像网站好像是有限流,下载多个模型的时候容易卡住,得等一段时间。同时,这里会下载比较多的历史版本在.git文件夹下,我这里使用脚本逐个下载模型文件...
sync-readme (huggingface, Yi-34B-Chat-4bits) sync-readme (huggingface, Yi-34B-Chat-8bits) sync-readme (modelscope, Yi-6B) sync-readme (modelscope, Yi-6B-200K) sync-readme (modelscope, Yi-6B-Chat) sync-readme (modelscope, Yi-6B-Chat-4bits) sync-readme (modelscope, Yi...
Yi-34B-Chat模型: modelscope.cn/models/01 Yi-34B-Chat-4bits模型: modelscope.cn/models/01 Yi-34B-Chat-8bits模型: modelscope.cn/models/01 社区支持直接下载模型的repo: from modelscope import snapshot_download model_dir = snapshot_download("01ai/Yi-34B-Chat", revision = "master") model_dir...