用llama.cpp这几天一共跑过qwen2-1.5b，qwen2-7b，deepseekv2-coder-16b，全部没做量化。其中deepseekcoder是体验下来生成速度最快，生成效果最好的模型，激活仅有2.7b参数，由于mla极大的减少了io，使得实际体验下来速度比qwen2-1.5b还要快上一点，大约在10-20token/s 看来io-bound
VSCode + ClaudeDev + Continue:停止支付游标与这个开源和本地替代 11:11 Aider + Replit:生成全栈应用程序并在几秒钟内免费部署!(w⧸克劳德·十四行诗3.5) 08:15 LlamaCoder:生成全栈应用程序与Llama-3.1 405B免费 09:38 Aider + Gemini-1.5 Pro EXP (0801) + NextJS:生成全栈应用程序 08:45 这...
VS Code extension for FIM completions: https://github.com/ggml-org/llama.vscode Universal tool call support in llama-server ggml-org#9639 Vim/Neovim plugin for FIM completions: https://github.com/ggml-org/llama.vim Introducing GGUF-my-LoRA ggml-org#10123 Hugging Face Inference Endpo...
VS Code extension for FIM completions: https://github.com/ggml-org/llama.vscode Universal tool call support in llama-server ggml-org#9639 Vim/Neovim plugin for FIM completions: https://github.com/ggml-org/llama.vim Introducing GGUF-my-LoRA ggml-org#10123 Hugging Face Inference Endpoints ...
AI编程 VScode+Continue+Ollama #AI编程 #VSCode #Ollama 2分钟学会 Qwen2.5Coder Ollama 离线使用本地的编程大模型#软件开发 #人工智能 00:00 / 02:56 连播 清屏 智能 倍速 点赞23 大语言模型1月前【LM studio】保姆级教程:本地运行通义千问72B 本地运行通义千问 Qwen72B!兼容AMD显卡或纯CPU #大模型...
主要使用的编程环境：Microsoft PyCharm/VSCode、Jupyter Notebook 操作系统：Windows 11/WSL Ubuntu 安装...
这几天一共跑过qwen2-1.5b，qwen2-7b，deepseekv2-coder-16b，全部没做量化。其中deepseekcoder是...