暂且不说这些理念是否存在“先射箭子后画靶子 ”之嫌，一个需要被前置讨论的问题是：大模型如何在端侧完成部署？以手机端为例，目前发布且有实际演示的模型中，10亿参数量Stable Diffusion已经可以在搭载骁龙芯片的手机上运行，但再大一些的模型，比如让手机厂商们心心念念的Llama 2，其130亿参数规模跑在手机端就非...
2024中国生成式AI大会于4月18-19日在北京举行，在大会第一天的主会场大模型专场上，安谋科技产品总监杨磊以《大模型端侧部署提速，NPU赋能终端算力革新》为题发表演讲。从GPT-3.5到GPT-4.0，从多模态交互到插件支持，从闭源到开源，AI任务处理正加速从云侧向端侧迁移，NPU及其生态迎来全新的发展阶段。安谋科技产...
据介绍，联想将进一步升级天禧个人智能体系统（天禧AS），在端侧部署DeepSeek 70亿参数（7B）大模型。由此，联想将成为全球首家在端侧部署和运行这一大模型的AI PC品牌。在沟通会上，刘军特别预告了联想将在2月25日进一步升级天禧AS，率先在端侧部署DeepSeek 7B大模型的下一步动作。此外，联想中国方案服务业务预计在...
联想集团公布截至2024年12月31日的第三财季业绩，其中营收1351亿人民币，同比增长20%；净利润49.8亿人民币，同比增长达106%。在公布业绩的同时，联想集团宣布，将在AI PC端侧本地部署DeepSeek大模型，这将成为全球首家端侧部署该大模型的AI PC品牌。据介绍，此前，联想旗下联想天禧个人智能体系统中的小天个人智...
相反，准确率和性能双佳的Swin Transformer并没有得到突出的大规模落地，还是多部署于云端服务器。爱芯元智表示，这是因为GPU对于MHA结构（Transformer中的多头注意力机制）计算支持更友好。而目前的大部分端侧AI芯片由于其架构限制为了保证CNN结构的模型效率更好，基本上对MHA结构没有过多性能优化，因此我们需要修改Swin ...
2024年3月28日，联发科技（MediaTek）宣布与阿里云达成深度合作，双方在天玑9300移动平台上完成通义千问大模型小尺寸版本的端侧部署，该部署可适配天玑8300移动平台，可实现离线状态下即时且精准的多轮人机对话问答。未来，双方将携手打造面向应用开发者和终端设备厂商的生成式AI软硬件生态，基于MediaTek天玑移动平台适配...
端侧模型的压缩与量化技术 端侧推理引擎的架构和工作原理 大模型在手机端侧部署落地探索 面向端侧部署的多模态大模型技术 端侧芯片的能效优化:实现更长续航与更低功耗 端侧AI 模型在车载场景的应用与发展趋势 端侧设备中模型部署实战 ... 论坛亮点: 技术研讨:...
近日，极氪宣布完成端侧Kr AI大模型的离线部署，将通过OTA分批推送，全系8295车型支持升级。据了解，此次极氪部署的端侧Kr AI大模型，基于高通智能座舱计算平台的强大算力，实现不依赖网络的实时图文理解与推理能力。响应速度方面，端侧计算减少数据传输延迟，响应速度提升1倍。数据在本地处理，避免隐私泄露风险。个性化...
在公布业绩的同时，联想集团宣布，将在AI PC端侧本地部署DeepSeek大模型。财报显示，目前联想集团各产品业务分为智能设备、基础设施方案、方案服务三大业务集团。其中，报告期内，智能设备业务集团（包括个人计算机、平板计算机、智能手机及其他智能设备业务在内）收入137.84亿美元，同比增长12%；经营溢利为10亿美元，...
vivo发布了自研 AI 大模型「蓝心 BlueLM」,其中 10 亿和 70 亿参数模型支持终端侧部署。 模型侧 24年2月,面壁智能发布了20亿(2B)参数的开源端侧模型MiniCPM,,该模型支持消费级显卡如1080Ti参数微调,以及主流手机处理器端侧推理。 24年4月,商汤发布了日日新 5.0大模型体系,其中,商量端侧模型 SenseChat-Lite ...