进入主目录 - 你应该能看到一个llama.cpp文件夹和一个DeepSeek-R1-GGUF文件夹。--threads == 你拥...
DeepSeek-Coder-V2 官方网站:https://huggingface.co/LoneStriker/DeepSeek-Coder-V2-Instruct-GGUF DeepSeek-Coder-V2 文档:https://huggingface.co/LoneStriker/DeepSeek-Coder-V2-Instruct-GGUF DeepSeek-Coder-V2GitHub仓库:https://github.com/deepseek-ai/DeepSeek-Coder-V2 DeepSeek-Coder-V2 社区论坛:htt...
DeepSeekMath: 以DeepSeek-Coder-v1.5 7B 为基础,在从 Common Crawl 中提取的数学相关 token 以及自然语言和代码数据上预训练,训练规模达 5000 亿 token。 DeepSeekMath 7B 在竞赛级 MATH 基准测试中取得 51.7% 的成绩,接近 Gemini-Ultra 和 GPT-4 的性能水平。 DeepSeek 视觉 - 语言模型类 DeepSeek-VL: ...
作者: Project KVCache.AI, collaborated with Approaching AITL;DR我们和 Approaching AI 联合开源了一套能够仅用单张显卡 21GB VRAM 配合 136GB 内存就可以在本地高效推理 236B DeepSeek-(Coder)-V2 的框架 KTra…
最新实测，跑deepseek-coder-v2:236b（模型大小133GB）的速度如下：total duration: 3m23.6019481...
DeepSeek-v2.5-1210:是DeepSeek在2024年9月发布的模型,结合了DeepSeek-V2-Chat和DeepSeek-Coder-V2-Instruct的功能。模型在多种任务上表现出色,包括语言理解和代码生成。支持最长128K的上下文长度,适用于需要处理大量上下文信息的应用场景。 DeepSeek-v3:2024年12月发布的模型,包括基础模型DeepSeek-V3-Base和聊天模型...
python3 -m pip install -r requirements.txt # generate GGUF model python convert-hf-to-gguf.py <MODEL_PATH> --outfile <GGUF_PATH> --model-name deepseekcoder # use q4_0 quantization as an example ./quantize <GGUF_PATH> <OUTPUT_PATH> q4_0 ./main -m <OUTPUT_PATH> -n 128 -p ...
all use the same chat template in tokenizer_config.json, so it's better to call it deepseek2. DeepSeek-V2 was first to use it, so I think it's best to refer in comments to simply DeepSeek-V2 instead of DeepSeek-Coder-V2-Lite-Instruct-GGUF like you did. ...
ktransformers 团队(之前以 DeepSeek-V2 的本地 CPU/GPU 混合推理开源项目而闻名)宣布支持 DeepSeek R1 和 V3 模型。在本地运行 671B DeepSeek-Coder-V3/R1 的 Q4_K_M 版本,仅需 14GB VRAM 和 382GB DRAM。 >> 展示了显著的性能提升,预填充速度和解码速度相比 llama.cpp 有大幅提升 (预填充速度最高...
此次同步上线的还包括 DeepSeek-V3、DeepSeek-v2.5 系列、DeepSeek-coder 系列等模型。 当然,对于云平台而言,这不仅是丰富自身大模型生态的举措,也是为其在 AI 产业链中赢得更深层的价值在打地基。 看未来:开源与性价比的 “模型平权” 逐步蔓延 随着 DeepSeek、Mistral、豆包等厂商以开源和低成本的方式快速推广...