得益于Efficient ViT的效率和容量,Efficient Vi T - SAM在SAM - Vi T - H上的A100 GPU上实现了48.9倍的TensorRT加速,并且性能没有损失。 3. 效果展示 吞吐量 vs. COCO 零样本实例分割mAP。EfficientViT-SAM 是第一个加速的 SAM 模型,能够与 SAM-ViT-H 的零样本性能相匹配/超越,实现了最先进的性能-效率...
此外,作者可以将EfficientViT-SAM与其他并行技术结合,以进一步提高效率,包括剪枝、量化和硬件感知神经架构搜索。 3 Method 作者提出了EfficientViT-SAM,该方法利用EfficientViT来加速SAM。特别是,EfficientViT-SAM保留了SAM的提示编码器和 Mask 解码器架构,同时用EfficientViT替换了图像编码器。作者设计了两系列模型,Efficien...
EfficientViT is a new family of vision models for efficient high-resolution vision. - EfficientViT-SAM/eval_sam_model.py at master · marenan/EfficientViT-SAM
[2024/02/08] Tech report of EfficientViT-SAM is available:arxiv. [2024/02/07] We released EfficientViT-SAM, the first accelerated SAM model that matches/outperforms SAM-ViT-H's zero-shot performance, delivering the SOTA performance-efficiency trade-off. ...
代码链接:https://github.com/mit-han-lab/efficientvit?tab=readme-ov-file 2. 摘要 我们提出了EfficientViT - SAM,一个新的加速分割任何事物模型族。我们保留了SAM的轻量级提示编码器和掩码解码器,同时将重图像编码器替换为Efficient Vi T。对于训练,首先从SAM - ViTH图像编码器到Efficient ViT的知识蒸馏开始...
我们提出了EfficientViT - SAM,一个新的加速分割任何事物模型族。我们保留了SAM的轻量级提示编码器和掩码解码器,同时将重图像编码器替换为Efficient Vi T。对于训练,首先从SAM - ViTH图像编码器到Efficient ViT的知识蒸馏开始。随后,我们在SA - 1B数据集上进行端到端的训练。得益于Efficient ViT的效率和容量,Effici...
EfficientViT-SAM 模型架构。EfficientViT-SAM-XL的宏观架构如图2所示。其主干包含五个阶段。类似于EfficientViT,作者在早期阶段使用卷积块,而在最后两个阶段使用efficientViT模块。作者通过上采样和加法融合最后三个阶段的特征。融合后的特征被送入由几个融合的MBConv块组成的 Neck ,然后送入SAM Head 。
作者提出了EfficientViT-SAM,这是一系列加速的SAM模型。在保留SAM轻量级的提示编码器和 Mask 解码器的同时,作者用EfficientViT替换了沉重的图像编码器。 作者提出了EfficientViT-SAM,这是一系列加速的SAM模型。在保留SAM轻量级的提示编码器和 Mask 解码器的同时,作者用EfficientViT替换了沉重的图像编码器。在训练方面,首...
这是一种新的加速SAM系列。保留了SAM的轻量级提示编码器和mask解码器,同时用EfficientViT替换了沉重的图像编码器。对于训练,首先从SAM-ViT-H图像编码器到EfficientViT的知识蒸馏开始。随后在SA-1B数据集上进行端到端训练。由于EfficientViT的效率和容量,EfficientViT-SAM在A100 GPU上的TensorRT加速比SAM-ViT-H高出...
EfficientViT-SAM-XL的宏观架构如图2所示。其主干包含五个阶段。类似于EfficientViT,作者在早期阶段使用卷积块,而在最后两个阶段使用efficientViT模块。作者通过上采样和加法融合最后三个阶段的特征。融合后的特征被送入由几个融合的MBConv块组成的 Neck ,然后送入SAM Head 。