全球首颗,清华大学我芯片领域取得重大突破 | 近日,清华大学集成电路学院教授吴华强、副教授高滨团队基于存算一体计算范式,研制出全球首颗全系统集成的、支持高效片上学习(机器学习能在硬件端直接完成)的忆阻器存算一体芯片,在支持片上学习的忆阻器存算一体芯片领域取得重大突破,有望促进人工智能、自动驾驶可穿戴设备等...
🎯 研究目标:开发一种新的计算内存高效的算法VeLoRA,能够在保证模型性能的同时,显著压缩训练中的激活向量大小,以减少大规模语言模型(LLMs)训练和微调时对GPU内存的需求。🧱 方法概述:VeLoRA方法在前向传播期间将输入Token划分为更小的子Token,并将这些子Token投影到固定的一维子空间。在反向传播期间,使用同一向量...