昨天尝试部署deepseek-r1,看知乎上的经验,14b需要16G显存。 再看看自己可怜的4G显存,还是决定试试14b。 步骤如下:ollama.ai下载最新的Ollama,安装,然后就会由小羊驼出现在自己右下角任务栏。 安装好后的Ollama小图标 之后,打开cmd,或者powershell,输入ollama run deepseek-r1:14b(选择32b就把14b改成32b,如此...
日前，极空间作为AI NAS领航者，再一次全面引领行业，率先完成DeepSeek内置本地安装，而且还是14B 超大模型！更是成为市场上唯一一家本地部署DeepSeek-R1 的 NAS品牌 , 这一开创之举不仅解决了Docker复杂部署和API调用等AI使用难题，极简安装，一键部署无需专业技术，真本地部署，无门槛就可以使用，全本地化体验，不...
LLM推理(2):利用4张英特尔Arc A770推理32B大模型,速度突破到30 Token/s 3.7万 4 03:11 App 双卡2080Ti22G完美跑DeepSeekR1:70B 附部署教程 5.4万 0 01:29 App DeepSeek R1 14b vs 32b简单问题对决 10.2万 71 08:01 App Deepseek本地部署14b、32b、70b简单横评 4.0万 11 07:14 App 给大家分享一下...
使用体验:使用显卡推理时,速度偏慢,不过也能理解,毕竟5700xt是老显卡,14B的本地模型凑合着能跑也没什么可挑剔的了,想要更快的推理速度目前还是只能上性能更高的新显卡(4090d、5090d除外,阉割了ai等于阉割了未来~叹气)。当采用CPU推理时感觉貌似速度要快一些(显卡速度3.71 tok/sec CPU 4.54 tok/sec,有波动,有...
以deepseek-r1:14b为例，模型大小是9GB，这就要求显存VRAM不得小于9GB，对应的独立显卡基本就得是12GB...
14b 是 140 亿个参数; 32b 是 320 亿个参数; 70b 是 700 亿个参数; 671b 是 6710 亿个参数。 其中,671b 就是指传说中的 “满血版”,性能最强,也就是官网部署的版本。 这样命名并不是 DeepSeek 的独特之处,其他大模型也都是这样命名的,比如说llama: ...
既然7b表现那么拉,那跑个14b模型看看呢?选用模型:DeepSeek-R1-Distill-Qwen-14B (BASE:Qwen2.5-14B) 送TA礼物 1楼2025-01-28 09:29回复 轻尘呦 Algobot 7 我选择使用ollama进行自动化部署这个模型9G,ollama默认安装在c盘 2楼2025-01-28 09:31 收起回复 轻尘呦 Algobot 7 DeepSeek-R1-Distill 模型...
我们第一时间研读了360放出的技术报告，发现端侧AI的技术拐点已经出现。360开源的Light-R1-14B-DS创造了三项行业纪录：一是能力复现。Light-R1-14B-DS首次在数学能力上，用14B 模型复现了强化学习效果，通过多阶段课程学习SFT和强化学习，Light-R1-14B-DS的表现超过DeepSeek-R1-Distill-Llama-70B和DeepSeek-R1-...
r1 14b日期算错..结论本地r1 4b完全不能联想之前的回答答案,日期计算了多个不能从之前正确的答案开始计算,不怀疑自己万年历是否错误,我甚至怀疑它根本就没有查万年历,直接忽悠我
大模型:DeepSeek-R1-14B(开源、性能优秀、工业场景理解深入) 框架:RAGFlow(灵活、易扩展、部署简单) 部署方式:支持本地部署或云服务器部署 系统整体架构图 2.2开发流程 快速验证阶段 采用后端优化方案直接扩展 RAGFlow 功能 验证分块策略、嵌入模型等核心优化点 ...