首先,import 进来 pytorch_grad_cam 工具和一些必要的包,再 load 进来我们要分析的 ViT 模型,这里使用 DeiT_Tiny 作为示例: importcv2importnumpyasnpimporttorchfrompytorch_grad_camimportGradCAM,\ScoreCAM,\GradCAMPlusPlus,\AblationCAM,\XGradCAM,\EigenCAM,\EigenGradCAM,\LayerCAM,\FullGradfrompytorch_grad...
grad-cam对ViT的输出进行可视化的原理是利用 ViT 的最后一个注意力块的输出和梯度,计算出每个 token 对分类结果的贡献度,然后将这些贡献度映射回原始图像的空间位置,形成一张热力图。具体来说,grad-cam+ViT 的步骤如下: 给定一个输入图像和一个目标类别,将图像划分为 14x14 个小块,并将每个小块转换为一个 7...
fine-tuning 与 layer-wise learning rate decay 的 ft)、去不去掉 cls token、甚至用别的 token 去接 fc 等等等...的各种 Vision Transformer 的 Grad-CAM 的可视化结果,就由大家来自由探索吧~,说不定会有新的、不一样的发现哦😊
使用grad-cam进行特征图的可视化 1. Swin-Transformer官方预训练模型的可视化 2. 自己的模型可视化 pytorch-grad-cam提供了对模型训练可视化的工具,支持CNN、Vision Transformers,图像分类、目标检测、分割、图片相似性等。 安装:pip install grad-cam 1. Swin-Transformer官方预训练模型的可视化 官网示例使用了swin_tiny...