端侧AI，是指在终端设备上直接运行和处理人工智能算法，允许终端设备在本地处理数据，不需要将数据发送到云端或服务器进行处理的应用。2024年，被定义为端侧AI发展的元年。不仅是微软的Copilot PC引爆行业，COMPUTEX、苹果WWDC大会等行业盛会发布的各类端侧AI应用都引发了广泛的市场讨论。大概率可以预见的是，以ChatGPT...
端侧AI的难点 硬件资源限制 存储、内存、计算资源 2. 模型的版本管理、生命周期 3. 终端的种类很多,不同硬件架构的适配和模型迁移成本过高 4. 3同时导致了端侧AI应用复杂度增加 云端协同 端侧AI当前普遍应用方式:终端侧处理+云端处理补充,即协同合作(云端协同) 图片来源于https://www.qualcomm.cn/on-device-ai...
变化三：更健壮的端侧AI生态。AI开发者是端侧AI持续繁荣不可或缺的角色，高通为开发者准备了基于自身硬件的高效开发工具，包括高通AI软件栈（AI Stack）和AI Hub，与腾讯混元和智谱AI达成合作，帮助模型厂商在高通硬件上更好地释放平台算力，支持AI开发者轻松地将AI模型集成到应用程序中。根据骁龙峰会高通公布的数据...
从ChatGPT开始引爆大语言模型，然后到后来国内掀起百模大战，现如今，AI之火愈演愈烈，目前市场已经步入关于AI大模型的应用落地阶段。在这个过程中，端侧AI的发展始终是难以忽视的一环。所谓端侧AI，指的是不依赖于云服务器，能够直接在设备本地所运行的AI体验。目前GPT-4、Llama 2等主流的大语言模型仍需要调用云...
端侧AI 指的是在用户设备（如手机、平板电脑、汽车等）上运行的 AI 技术。与云端 AI 相比，端侧 AI 具有以下特点：1. 数据隐私：你的数据无需上传云端，避免了隐私泄露的风险。例如，使用端侧AI进行人脸识别，你的面部数据不会上传到服务器，而是在本地设备上进行处理，确保你的隐私安全 2. AI算法可以直接在...
政策端：近年来，国家出台了一系列利好政策，推动人工智能行业的发展。技术端：处理器、内存、电池、散热、软件等技术的进步助力端侧AI 落地，如NPU 异构方案为AI PC 提供充足算力，轻量化模型让本地部署成为可能，端云结合赋能手机功能落地等。行业催化：苹果发布iPhone16 系列，全系适配Apple Intelligence；华为发布...
从本质上来看，智能模组是一种AI算力的下沉。完全基于云端AI的方式，终端的数据需要通过网络上传云端，云端经过计算后，再下发给终端，会产生更大的时延。如果网络不稳定，也会更加影响用户体验。云端AI，也不满足部分用户对信息安全和物理隔离的需求。云侧AI+端侧AI 采用端侧AI，数据的处理在本地完成，时延更短，...
端侧AI是指在终端设备（如车载智能座舱、智能除草机、机器人等终端场景或设备）上进行人工智能计算和处理，运行端侧模型。相较于云端大模型，端侧大模型在资源有限的设备上高效运行，需进一步对模型进行压缩、推理加速及能耗优化。目前轻量化模型技术包含模型剪枝、知识蒸馏和量化，以上技术往往组合使用，以达到最优的...
AI手机、AIPC高歌猛进引发新一轮换机潮 西部证券认为，随着终端芯片算力的快速增强及一系列模型小型化技术的不断发展，端侧AI从核心层到应用层技术的日趋成熟，终端厂商已在加快布局端侧大模型，促使消费电子终端进入到了产品迭代的重要窗口期，有望引起新一轮“换机潮”。从应用层面看，端侧AI与消费电子的结合将...
而随着端侧AI产品的快速增长，应用于端侧、边缘侧的AI算力芯片NPU（神经网络处理单元）或将逐步起量。NPU能够更高效率、更低能耗地处理人工神经网络、随机森林等机器学习算法和深度学习模型，被认为是更适合边缘侧、端侧的处理器，与GPU、CPU共同构成当前的AI计算底座。端侧AI应用加速落地 2023年，云端大模型开始在...