Ollama 是目前比较主流的大模型本地化部署工具,主要通过命令行交互对模型进行下载、管理和使用。 最近,ipex-llm 专门针对 Ollama 优化出了一个免安装版本,省去了繁琐的环境配置和安装步骤,为英特尔GPU(集成显卡)和I卡”进行了性能和体验优化。我在自己电脑上已经实测可用了,接下来分享给大家~ 第一步:根据需要...
三、DeepSeek-R1模型测试：iGPU算力也可流畅运行本地部署的14B模型 Ollama是一个开源的大语言部署服务工具，只需iGPU即可部署大模型。我们这次测试就是基于Ollama框架，在本地部署DeepSeek-R1的蒸馏版模型，测试使用iGPU的运行效率。Ollama作为一个开源软件，功能依赖全球开发者的共同维护，自然也会有一些特别的分支。...
在解压目录中找到“start-ollama.bat”批处理文件，双击运行，启动Intel优化版Ollama服务，此时就和官方版Ollama运行效果一致，唯一需要注意的即使Ollama服务启用时，会有一个命令行窗口，不要意外关闭，关闭这个命令行窗口就会关闭Ollama服务。此时可以用Win+R输入“cmd”启动一个新的命令行窗口，先使用“cd”命令，...
在解压目录中找到“start-ollama.bat”批处理文件,双击运行,启动Intel优化版Ollama服务,此时就和官方版Ollama运行效果一致,唯一需要注意的即使Ollama服务启用时,会有一个命令行窗口,不要意外关闭,关闭这个命令行窗口就会关闭Ollama服务。 此时可以用Win+R输...
我们这次就找来一台使用Intel酷睿Ultra 9 285H处理器的轻薄笔记本,来尝试在本地部署大模型并应用,看看不依靠独立显卡,充分发挥CPU、iGPU核显以及NPU的算力资源,能不能真正应用上本地AI大模型。 二、Ollama:高效轻量化 简洁到硬核的程度 既然是在并不以性能见长的轻薄本上部署大模型,我们自然要尽量节省系统资源,...
基于Intel Core Ultra平台实测,通过IPEX-LLM项目实现Ollama大语言模型在Windows 11系统下的免安装部署,利用Meteor Lake架构的NPU+GPU异构计算单元,实测模型推理速度可提升约100%(完整测试数据见文末表格)。 引言 在本地部署大语言模型时,传统方案往往依赖NVIDIA GPU和CUDA生态。而对于没有配备独立显卡的普通家用台式机...
我们这次就找来一台使用Intel酷睿Ultra 9 285H处理器的轻薄笔记本,来尝试在本地部署大模型并应用,看看不依靠独立显卡,充分发挥CPU、iGPU核显以及NPU的算力资源,能不能真正应用上本地AI大模型。 二、Ollama:高效轻量化 简洁到硬核的程度 既然是在并不以性能见长的轻薄本上部署大模型,我们自然要尽量节省系统资源,...
在我们的测试中,Intel 酷睿 Ultra 9 285H 处理器展现出相当强劲的实力,使用开源部署工具 Ollama(Intel 优化版),在本地部署 DeepSeek-R1:14B,仅依靠 CPU 的算力,就可以实现接近 10 Token/s 的输出速度,比 AMD 锐龙 AI 9 HX370 处理器的输出高了 40% 以上,而且这个成绩还是在 CPU 实际功率相差接近一倍的...
从测试结果上来看,Intel酷睿Ultra 9 285H在针对Intel优化过的Ollama上的每秒token输出更高一些,在14B和7B规模模型中,对比AMD锐龙AI 9 HX370都有40%左右的领先,而在1.5B规模模型中,双方性能表现都很强,但Intel平台仍有5%左右的优势。 当然这个测试也并不能代表Intel处理器在AI性能上就一定比AMD处理器强很多,每...
我们这次就找来一台使用Intel酷睿Ultra 9 285H处理器的轻薄笔记本,来尝试在本地部署大模型并应用,看看不依靠独立显卡,充分发挥CPU、iGPU核显以及NPU的算力资源,能不能真正应用上本地AI大模型。 二、Ollama:高效轻量化 简洁到硬核的程度 既然是在并不以性能见长的轻薄本上部署大模型,我们自然要尽量节省系统资源,...