qwen Coder (用于代码ai自动补全,因为可以本地运行) qwen api(和调用deepseek api一样) ollama(可选的,用于本地部署qwen模型,当然也可以用在线模型) Visual Studio Code 是微软开发的免费代码编辑器,支持多种编程语言,功能强大且扩展性强。更重要的是它极强的插件市场,以及流畅的性能,几乎可以横扫任何编程语言。
ollama-deepseek-coder curl http://localhost:11434/v1/chat/completions \ -H"Content-Type: application/json"\ -d'{"model": "deepseek-coder","messages": [{"role": "system","content": "You are a programming assistant."},{"role": "user","content": "write me an hello world program...
该系列模型提供六种不同规模的版本,分别是 0.5B、1.5B、3B、7B、14B 和 32B。其中,32B 模型在性能上与 OpenAI 的GPT-4o相媲美。 选择合适自己电脑资源配置的参数规格,进行模型下载(若本地机器资源充足,可选择参数量大的模型)。 打开终端命令窗口,运行命令:ollama pull ollama run qwen2.5-coder:7b ,即可将...
DeepSeek-R1671B404GBollama run deepseek-r1:671b Llama 3.370B43GBollama run llama3.3 Llama 3.23B2.0GBollama run llama3.2 Llama 3.21B1.3GBollama run llama3.2:1b Llama 3.2 Vision11B7.9GBollama run llama3.2-vision Llama 3.2 Vision90B55GBollama run llama3.2-vision:90b ...
使用了Xeon处理器、一块主板和16GB主内存。我可以很好地运行DeepSeek-V2 16b。
ollamapull gemma2ollamapull codestral 注意:Codestral 有 220 亿个参数和 32000 个令牌的上下文窗口,即使精度量化到 4 位,在本地运行的话,也是一个相当庞大的模型。如果遇到了程序崩溃的问题,那么你可能会想试一下小一点的东西,比如 DeepSeek Coder 的 1B 或 7B 变体。
您可以通过在环境中设置OLLAMA_FLASH_ATTENTION=1来启用奥拉马的闪光注意力。
您可以通过在环境中设置OLLAMA_FLASH_ATTENTION=1来启用奥拉马的闪光注意力。
deepseek-coder-v2 16B, 236B DEEPSEEK https://ollama.com/library/deepseek-coder-v2 codegemma 2B, 7B Gemma https://ollama.com/library/codegemma starcoder2 3B, 7B, 15B BigCode Open RAIL-M v1 https://ollama.com/library/starcoder2 codestral 22B Mistral https://github.com/open-assistant...
ollamapull gemma2ollamapull codestral 注意:Codestral 有 220 亿个参数和 32000 个令牌的上下文窗口,即使精度量化到 4 位,在本地运行的话,也是一个相当庞大的模型。如果遇到了程序崩溃的问题,那么你可能会想试一下小一点的东西,比如 DeepSeek Coder 的 1B 或 7B 变体。