2023年4月5日，MetaAI发布论文《Segment Anything》。论文指出MetaAI的目标是通过引入三个相互关联的部分来构建一个用于图像分割的基础模型：1）可提示的图像分割任务。2）数据标注并通过提示实现零样本到一系列任务的分割模型SAM。3）拥有超过10亿个掩码的数据集-SA-1B。论文介绍Segment Anything(SA)项目主要包括了...
Data: 数据工程,个人理解这是SAM模型牛逼之处,虽然数据工程这块处理手段看起来比较简单,但是SAM团队给我们展示了大道至简。这种让模型自动标注的思路、细节处理实际有非常大的研究、应用价值。如果只是了解技术,可以直接看图表;这篇论文讲解了非常多的细节,为了追随大佬的脚步,这里对论文进行全文解读,由于能力有限,部分...
虽然SAM很强,但也有一些不足:会生成一些不连续的mask,错过小目标,边界可能不够清晰;text-to-mask尚不稳定;处理提示可以实时,但对图像的encoder不是实时的,用的vit。 测试了下,在4090显卡上,推理一张(1800,1200)的图像,大概用了0.233s,显存用了6.5G,其中大部分时间都耗在image encoder上(0.231s)。 可以将SAM...
sam(segment anything)的影响力确实不凡,刚看了FastSam,利用yolov8-seg模型来训练instance segment,相比于原生的sam速度提升最快接近50倍,同期就有类似的论文(MobileSam)发布,主要研究利用知识蒸馏的技术,将sam的大模型迁移到一个小模型上,可以应用到移动设备上,模型大小相比原生sam小了60倍。 MobileSAM推理时间约10...
LVI-SAM，Tixiao Shan大神的又一力作，由LIS（激光惯性里程计）和VIS（视觉惯性里程计）两个独立子系统组成。基于激光的方法远距离环境细节清晰，但在结构化较弱环境中容易失准。视觉方法则擅长位置识别，尤其在纹理丰富的场景中表现出色，但对光照变化、剧烈运动和初始化敏感。文章主要贡献在于提出基于因子...
LIO-SAM: Tightly-coupled Lidar Inertial Odometry via Smoothing and Mapping.md LIO-SAM是一个使用因子图融合激光,IMU和GPS信息的SLAM算法。论文依次介绍了IMU,激光关键帧,GPS和回环节点。IMU约束 使用IMU预积分作为里程计的初值,并作为因子图的节点。激光里程计 在位移和旋转超过阈值时,创建...
LIO-SAM将lidar-惯性里程计置于一个因子图之上,允许从不同来源将多种相对和绝对测量,包括环闭检测,作为因子合并到系统中。由惯性测量单元(IMU)预积分估计的运动消除点云畸变,并为激光雷达里程计优化提供初始猜测。所得到的激光里程计解被用来估计IMU的偏差。为了确保实时的高性能,我们将旧的激光雷达扫描边缘化以优化...
事件背景:2023年4月5日,MetaAI研究团队发布论文“分割一切”一《Segment Anything》并在官网发布了图像分割基础模型一Segment Anything Model(SAM)以及图像注释数据集Segment-Anything 1-Billion(SA-1B)。 论文核心观点 : 目标: MetaAI的目标是通过引入三个相互关联的部分来构建一个用于图像分割的基础模型:1)可提示...
事件背景:2023年4月5日,MetaAI研究团队发布论文“分割一切”一《Segment Anything》并在官网发布了图像分割基础模型一Segment Anything Model(SAM)以及图像注释数据集Segment-Anything 1-Billion(SA-1B)。 论文核心观点 : 目标: MetaAI的目标是通过引入三个相互关联的部分来构建一个用于图像分割的基础模型:1)可提示...