论文题目:ROS-SAM: High-Quality Interactive Segmentation for Remote Sensing Moving Object 论文链接:https://arxiv.org/pdf/2503.12006 论文代码:https://github.com/ShanZard/ROS-SAM 发表时间:2025.3.15 省流:ROS-SAM模型:通过lora微调SAM来解决small & dense目标的分割/检测问题,在遥感视频流多任务数据集SAT...
论文: Mixture-of-Subspaces in Low-Rank Adaptation链接 动机(p1,p2):LoRA的权重可以分为多个子空间,作者发现简单地对半分后对两个子空间进行混合,就能取得明显的涨点(p3) 方法:MosLoRA将子空间混合进行到极致,设模型维数为d,LoRA的秩为r,原始版本的LoRA就是d x r 和r x d的两个变换,MosLoRA在中间加了个...
MoRA大模型微调:让LoRA的秩高高高 | 今天读到idea很有意思的一个LoRA改进版本MoRA,简记之为论文简读第45期:MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning链接 动机:LoRA的低秩限制了其记忆能力,设输入维数为d,输出维数为k,LoRA的秩为r,一共有r*(d+k)的参数,最高的秩应该是r' = sqrt(r...
✌️细读前点个免费的关注和收藏,北大小哥Sam每天带你读LLM和推荐广告前沿论文,侃算法岗面经&成长经验 🔥方法:如p1、p2,在多领域的数据合集上进行长时间预训练之后,在近期的数据上进行微调,微调时固定主干参数,只训LoRA模块,每个domain对应一个LoRA模块。这里的每个domain是电商APP中的某个场景,比如首页推荐或者...
2️⃣评测:作者用MiniGPT4-v2评测,发现即使在像素预测任务上微调桥接模块和LLM的参数,模型重建像素的能力依然不佳,平均绝对误差能达到20.38,恢复的图像一团糊(p2、p3)。3️⃣怎么学:作者发现在像素预测任务上训练的时候,用LoRA微调的方式更新视觉编码器(CLIP)的权重提升明显,平均绝对误差20.38 -> 6.65,同时...