这也就是为什么LoRA文件小的多。 在这个例子中,矩阵的阶(rank)为2,最低可以为1。由于它比原始维度要小得多,所以叫low-rank矩阵。研究人员发现,在使用了这种降维方式后,不会影响对cross-attention层的fine-tune,所以可以放心用来微调模型。 7.3. 使用LoRA模型 可以在Civitai与HuggingFace上找到各种公开的LoRA模型。