我决定下载一个出色的代码模型:DeepSeek-Coder。在终端上直接输入:ollama run deepseek-coder:6.7b,就会自动下载和运行 。 目前在Ollama上,DeepSeek-Coder模型有3种权重规模:1.3B,6.7B和33B。 我选择的是6.7B。 针对上一个问题,它给出如下回答。 在MySQL数据库的管理上,有许多优秀的web管理工具可以选择。这些...
docker exec -it ollama ollama run deepseek-coder:33b #运行最近非常火爆的MOE专家混合大模型,这个以英文为主,但同时能理解中文 docker exec -it ollama ollama run mixtral #运行deepseek llm 67B模型 docker exec -it ollama ollama run deepseek-llm:67b-chat #运行yi 34B模型 docker exec -it ol...
将上面步骤中ollama-linux-arm64 和模型文件 deepseek-coder-33b-instruct.Q5_K_M.gguf 移动到一个ollama文件夹中 打开nodebook terminal 输入以下命令 Explain mkdir ollama mv deepseek-coder-33b-instruct.Q5_K_M.gguf ./ollama # 移动ollama-linux-arm64并重命名 mv ollama-linux-arm64 ./ollama/o...
因此模型选择上建议,代码 Chat 相关使用特化的模型参数量可以大一些,例如 codellama 7B/13B,保证对话质量,速度慢一些也可以接受。但是代码生成补全上建议 starcode 3B 保证速度(如果性能实在不够还可以选择 deepseek-coder:1.3b-base)。 Prompt 对于编码领域 Prompt 也是有些特别,尤其是对于代码补全需要支持 FIM(Fill...
As i was facing the same error also with V0.5.1 until now, i, with a rather slow classic HDD in a dual Xeon with 128GB RAM (plus 2*6GB Nvidia mining accelerators), trying to run deepseek-coder:33b and dolphin-mixtral:47b, found out that setting --keepalive to "10m" solved the...
DeepSeek (MoE) 7B/16B/67B q_proj,v_proj deepseek Falcon 7B/40B/180B query_key_value falcon Gemma/CodeGemma 2B/7B q_proj,v_proj gemma InternLM2 7B/20B wqkv intern2 LLaMA 7B/13B/33B/65B q_proj,v_proj - LLaMA-2 7B/13B/70B q_proj,v_proj llama2 LLaMA-3 8B/70B q_proj,v_...
deepseek-coder starcoder2 dolphinecoder dolphin-mixtral starling-lm llama2-uncensored 尝试ollama服务 因为我本机GPU是MX250,性能很差,而且我已经在GPU服务器上部署了ollama,具体参考: 北方的郎:Linux上部署Ollama,启动Mistral-7B及Gemma-7B服务,测试效果 ...
ollama run deepseek-coder:6.7b-base-q8_0 对我的这样配置笔记本电脑来说,运行6.7B Q8量化版很顺畅。 模型运行监控 如果要监控ollama的运行状态,可以输入如下指令: journalctl -u ollama.service |tail -n 200 |more 总的来说,ollama在Windows的WSL中的安装很简单,下载和运行模型也简单,相信你会喜欢上它的...
./ollama create deepseek-coder-33b-instruct.Q5_K_M -f Modelfile 执行 这里需要注意的地方是因为启智平台给我们分配的/home/ma-user/work 目录下总共100G空间,所以包括你上传代码+模型等文件。所以建议是50GB一下模型才可以,否则会报存储空间不够问题 ...