OCRNet-HRNet+psa论文复现 1、摘要 本次论文复现的论文创新点是在NVIDIA开发者团队设计的MscaleOCRNet-HRNetW48的基础上添加Polarized Self-Attention模块,并且添加到HRNet的Basic模块中,使用在Cityscapes的train set进行训练,用val set进行验证,模型的最终MIoU结果达到了84.66。 本项目是基于PaddleSeg框架的,并且...
在都采用 ResNet-101 (os=8) 作为主干网络的时候,OCR 方法的 GPU 内存消耗与 FPS 都比 DeepLabv3 和 DeepLabv3+ 更具有优势,同时 OCR 在 Cityscapes validation set 上的 (不同训练设置下) 结果也都取得了比 DeepLabv3 更好的结果。HRNet 和 OCR 的结合则会在街景分割任务中有更加明显的优势,在表4中可以...
通过计算每个像素的上下文考虑关系信息: 主题框架有两种,一是采用ResNet-101(输出步幅为8),二是HRNet-W48(输出步幅为4),前者的stage-3用来预测初略的分割图,将stage-4经过一个3x3卷积输出通道为512, 然后输入到OCR模块中。对于HRNet则直接将最后的输出输入到OCR模块中。 在OCR模块中使用一个线性单元1x1的卷积层...
HRNet 和 OCR 的结合则会在街景分割任务中有更加明显的优势,在表4中可以看到 HRNet+OCR 不仅速度是最快的,并且在 Cityscapes validation set 上的单尺度分割性能最高可以达到81.59%, 显著优于之前的 DeepLabv3 与 DeepLabv3+。 表4:基于...
Backbone:ResNet / HRNet 。 OCR head: 整体看来就像attention套娃: 多种转换全部是通过不同size的conv实现的。 完整结构详解(其中关键操作和模块名和论文图对应,并给出了维度尺寸): 代码实现: 主函数: step2: step3对应的代码: 性能: HRNet + OCRNet 是当前分割的SOTA:...
采用OCRNET+HRNET batch_size: 24 iters: 150000 loss: coef: - 1 - 0.4 types: - type: CrossEntropyLoss lr_scheduler: end_lr: 0 learning_rate: 0.01 power: 0.9 type: PolynomialDecay model: backbone: align_corners: false pretrained: https://bj.bcebos.com/paddleseg/dygraph/hrnet_w48_ssld....
hrnet_ocr是Semantic Segmentation on Cityscapes test中目前排名第一的语义分割模型,其将高分辨网络hrnet和OCRNet方法相结合,本文主要介绍OCRNet方法。 OCRNet提出背景:使用一般性的ASPP方法如图(a),其中红点是关注的点,蓝点和黄点是采样出来的周围点,若将其作为红点的上下文,背景和物体没有区分开来,这样的上下文信息...
OCR 方法在5个主流的语义分割数据库上都取得了不错的结果。值得注意的是,基于 HRNet + OCR 的一个单模型结果在 ECCV 2020 提交截稿前,在 Cityscapse leaderboard 的语义分割任务中取得了排名第一。 表1中对比了不同方法的参数量、GPU 内存、计算量(GFLOPs)以及运算时间。根据表格中的结果,可以看出 OCR 方法的...
图6:ASPP 与 OCR 方法的对比 更多技术细节可参考如下论文以及开源代码: 论文链接:https://arxiv.org/pdf/1909.11065.pdf 代码链接:https://github.com/openseg-group/openseg.pytorch https://github.com/HRNet/HRNet-Semantic-Segmentation/tree/HRNet-OCR...
其次,通过聚集对象区域中像素的表示来计算对象区域的表示。最后,计算每个像素和每个目标区域之间的关系,并用对象上下文表示来增强每个像素的表示,这是所有对象区域表示的加权聚合。实验表明,提出的方法在不同的基准点上取得了具有竞争力的表现。HRNet + OCR + SegFix版本在2020ECCV Cityscapes 获得了第一名。