作者提出了EfficientViT-SAM,该方法利用EfficientViT来加速SAM。特别是,EfficientViT-SAM保留了SAM的提示编码器和 Mask 解码器架构,同时用EfficientViT替换了图像编码器。作者设计了两系列模型,EfficientViT-SAM-L和EfficientViT-SAM-XL,它们在速度和性能之间提供了平衡。随后,作者以端到端的方式使用SA-1B数据集来训练E...
得益于Efficient ViT的效率和容量,Efficient Vi T - SAM在SAM - Vi T - H上的A100 GPU上实现了48.9倍的TensorRT加速,并且性能没有损失。 3. 效果展示 吞吐量 vs. COCO 零样本实例分割mAP。EfficientViT-SAM 是第一个加速的 SAM 模型,能够与 SAM-ViT-H 的零样本性能相匹配/超越,实现了最先进的性能-效率...
得益于Efficient ViT的效率和容量,Efficient Vi T - SAM在SAM - Vi T - H上的A100 GPU上实现了48.9倍的TensorRT加速,并且性能没有损失。 3. 效果展示 吞吐量 vs. COCO 零样本实例分割mAP。EfficientViT-SAM 是第一个加速的 SAM 模型,能够与 SAM-ViT-H 的零样本性能相匹配/超越,实现了最先进的性能-效率...
将EfficientViT - SAM的模型参数、MAC和吞吐量与SAM和其他加速工作进行了比较。与SAM相比,EfficientViT - SAM实现了17到69倍的令人印象深刻的加速。此外,EfficientViT - SAM虽然拥有比其他加速工作更多的参数,但由于其有效地利用了硬件友好的操作符,表现出了显著更高的吞吐量。 零样本提示分割结果。根据点提示来评估...
EfficientViT-SAM 模型架构。EfficientViT-SAM-XL的宏观架构如图2所示。其主干包含五个阶段。类似于EfficientViT,作者在早期阶段使用卷积块,而在最后两个阶段使用efficientViT模块。作者通过上采样和加法融合最后三个阶段的特征。融合后的特征被送入由几个融合的MBConv块组成的 Neck ,然后送入SAM Head 。
EfficientViT-SAM 模型架构。EfficientViT-SAM-XL的宏观架构如图2所示。其主干包含五个阶段。类似于EfficientViT,作者在早期阶段使用卷积块,而在最后两个阶段使用efficientViT模块。作者通过上采样和加法融合最后三个阶段的特征。融合后的特征被送入由几个融合的MBConv块组成的 Neck ,然后送入SAM Head 。
这是一种新的加速SAM系列。保留了SAM的轻量级提示编码器和mask解码器,同时用EfficientViT替换了沉重的图像编码器。对于训练,首先从SAM-ViT-H图像编码器到EfficientViT的知识蒸馏开始。随后在SA-1B数据集上进行端到端训练。由于EfficientViT的效率和容量,EfficientViT-SAM在A100 GPU上的TensorRT加速比SAM-ViT-H高出...
EfficientViT is a new family of vision models for efficient high-resolution vision. - EfficientViT-SAM/eval_sam_model.py at master · marenan/EfficientViT-SAM
[2024/02/07] We released EfficientViT-SAM, the first accelerated SAM model that matches/outperforms SAM-ViT-H's zero-shot performance, delivering the SOTA performance-efficiency trade-off. [2023/11/20] EfficientViT is available in theNVIDIA Jetson Generative AI Lab. ...
下载完放在assets\checkpoints\sam\下面。 使用命令进行验证: python .\demo_sam_model.py --model l1 成功 可以简单的将图片放在efficientvit-master\assets\fig下,稍微修改下代码路径。 原图 结果在efficientvit-master\assets\demo下: 结果图 显存跑满了。