将上面步骤中ollama-linux-arm64 和模型文件 deepseek-coder-33b-instruct.Q5_K_M.gguf 移动到一个ollama文件夹中 打开nodebook terminal 输入以下命令 Explain mkdir ollama mv deepseek-coder-33b-instruct.Q5_K_M.gguf ./ollama # 移动ollama-linux-arm64并重命名 mv ollama-linux-arm64 ./ollama/o...
#运行deepseek-coder 33B模型 docker exec -it ollama ollama run deepseek-coder:33b #运行最近非常火爆的MOE专家混合大模型,这个以英文为主,但同时能理解中文 docker exec -it ollama ollama run mixtral #运行deepseek llm 67B模型 docker exec -it ollama ollama run deepseek-llm:67b-chat #运行yi ...
我决定下载一个出色的代码模型:DeepSeek-Coder。在终端上直接输入:ollama run deepseek-coder:6.7b,就会自动下载和运行 。 目前在Ollama上,DeepSeek-Coder模型有3种权重规模:1.3B,6.7B和33B。 我选择的是6.7B。 针对上一个问题,它给出如下回答。 在MySQL数据库的管理上,有许多优秀的web管理工具可以选择。这些...
deepseek-coder DeepSeek Coder is a capable coding model trained on two trillion code and natural language tokens. 1.3b 6.7b 33b 384.8K Pulls 102 Tags Updated 11 months ago snowflake-arctic-embed A suite of text embedding models by Snowflake, optimized for performance. embedding 22m 33m ...
因此模型选择上建议,代码 Chat 相关使用特化的模型参数量可以大一些,例如 codellama 7B/13B,保证对话质量,速度慢一些也可以接受。但是代码生成补全上建议 starcode 3B 保证速度(如果性能实在不够还可以选择 deepseek-coder:1.3b-base)。 Prompt 对于编码领域 Prompt 也是有些特别,尤其是对于代码补全需要支持 FIM(Fill...
DeepSeek (MoE) 7B/16B/67B q_proj,v_proj deepseek Falcon 7B/40B/180B query_key_value falcon Gemma/CodeGemma 2B/7B q_proj,v_proj gemma InternLM2 7B/20B wqkv intern2 LLaMA 7B/13B/33B/65B q_proj,v_proj - LLaMA-2 7B/13B/70B q_proj,v_proj llama2 LLaMA-3 8B/70B q_proj,v_...
./ollama create deepseek-coder-33b-instruct.Q5_K_M -f Modelfile 执行 这里需要注意的地方是因为启智平台给我们分配的/home/ma-user/work 目录下总共100G空间,所以包括你上传代码+模型等文件。所以建议是50GB一下模型才可以,否则会报存储空间不够问题 ...