酷睿Ultra首次引入了NPU AI引擎，可以执行一些轻负载的AI推理任务，并与CPU、GPU搭配处理各种AI工作。这次开源的NPU加速库，当然是面向开发人员的，但如果你有一定的编程经验，也可以拿来体验体验。Intel软件架构师Tony Mongkolsmai展示了利用此开源的NPU加速库，在一台微星尊爵14 AI Evo笔记本上，基于11亿参数的TinyLl...
去年12月，Intel发布了全新的酷睿Ultra，拥有40多年来最重磅的架构革新，可以说是专为AI而生，正式开启了AI PC的新篇章。CPU+GPU+NPU三大AI引擎协作，可以在本地离线运行200亿参数的LLM大语言模型，生成高质量的图片和视频，让创意更好地成为现实。其中，CPU部分性能核、能效核结合可带来更高的数据吞吐量，全新的...
英特尔表示，内置NPU的Core Ultrae处理器，能够以更省电方式提供低功耗的AI推论能力，相较于前一代处理器，当执行AI工作负载时，可以获得高达8倍功耗效率的改进，特别适用于处理需要持续性的AI应用或AI卸载任务。尽管目前英特尔尚未公布这颗NPU的确切AI算力，但从英特尔公布的测试数据，能够一窥这个NPU在AI任务方面的表...
这便是目前NPU在PC设备中发挥的最明显的作用。 理论上,拥有NPU计算单元的PC设备还会拥有更强的AI运算能力,可更高效地处理复杂AI模型,完成快速的计算和反馈。 Intel曾在Ultra发布会上表示,Ultra处理器已经可以运行200亿参数的AI大模型,且还亲自展示了本地大语言模型和文生图等AI应用。 但是说实话,目前本地AI所生成...
快科技3月4日消息,Intel已经将NPU加速库开源并放上GitHub,使得基于酷睿Ultra处理器的AI PC可以运行TinyLlama、Gemma-2b之类的轻量级大语言模型。 酷睿Ultra首次引入了NPU AI引擎,可以执行一些轻负载的AI推理任务,并与CPU、GPU搭配处理各种AI工作。 这次开源的NPU加速库,当然是面向开发人员的,但如果你有一定的编程经验...
酷睿Ultra首次引入了NPU AI引擎,可以执行一些轻负载的AI推理任务,并与CPU、GPU搭配处理各种AI工作。 这次开源的NPU加速库,当然是面向开发人员的,但如果你有一定的编程经验,也可以拿来体验体验。 Intel软件架构师Tony Mongkolsmai展示了利用此开源的NPU加速库,在一台微星尊爵14 AI Evo笔记本上,基于11亿参数的TinyLlma...
至于Intel寄予厚望的NPU,目前似乎还未得到广泛应用。据用户反馈,目前几乎没有应用程序支持NPU,主流的LLM部署软件如Ollama和LM Studio等也不支持。这意味着,尽管NPU在理论上具有潜力,但在实际应用中还未能发挥其作用。 综上所述,Intel的Ultra系列处理器虽然在理论上具有一定的创新性,但在实际性能和应用支持方面似乎并...
快科技3月4日消息,Intel已经将NPU加速库开源并放上GitHub,使得基于酷睿Ultra处理器的AI PC可以运行TinyLlama、Gemma-2b之类的轻量级大语言模型。 酷睿Ultra首次引入了NPU AI引擎,可以执行一些轻负载的AI推理任务,并与CPU、GPU搭配处理各种AI工作。 这次开源的NPU加速库,当然是面向开发人员的,但如果你有一定的编程经验...
一下是官方文档给出的Intel NPU架构图,当然,是Meteor Lake架构 Intel NPU (Meteor Lake) 我们可以直观的看到,这款NPU里包含了两个Neural Compute Engine,每一个Engine又包含了一个MAC (Multiplier and Accumulation) Array, 我们在推理大语言模型(LLM)时所需要进行的矩阵乘法,矩阵向量乘法,基本都将在这里完成。 另...
在酷睿Ultra处理器的产品报道文章里,我们大致提到了Intel对于AI PC表达的一些关键数据。其中包括CPU, GPU, NPU在内的酷睿Ultra的AI总算力“达到34TOPS”,这里的“AI总算力”是需要以XPU策略,及对应的生态实现为基础的。 此外Intel还提到,“酷睿Ultra处理器可以胜任高达200亿参数的大语言模型应用”,并且“实现了512...