因此DenseNet使用了Bottleneck层作为主体,通过增加1×1的卷积层来调整内部的通道数,减少输出特征图数量。此思想在ResNet50/101等深层残差网络中也有过类似的表达。 02 DenseNet网络架构 上文描述的DensNet网络结构通常被当作一个DenseBlock,通过若干个不同维度的DenseBlock相连即可组成不同层数的DenseNet。表格中列举了四...
这里以densenet121为例(k=32),可以看到每一层transition layer的卷积核个数是不一样的,经过transition layer层后,上个dense block的输出特征图数量就会减少。
图6.12 DenseNet的网络结构 如果把上述过程列在一个表格中,就会得到表6.2所示的网络结构图表,DenseNet论文的作者在不同的数据集上采用了不同数量的Dense Block进行测试,这里列出4个不同的Dense Block设置,下面以DenseNet-121为例进行说明。 DenseNet-121是一个121层的网络,经过第一个Transition Block之后到达了第一个D...
下图是DenseNet-121的详细版本,D1是DenseBlock(1),其中包含6个BottleNeck Layer,T1是Transition Layer(1),先1*1缩减通道数,再pooling。DL1为bottleneck layer,包含1*1卷积和3*3卷积,如上已做了说明。 DenseNet很占内存,作者还发布了高效内存版本,用时间换空间。 Feature Reuse(特征复用) DenseNet的网络结构设计,...
图2则是一个三个稠密块的稠密连接网络。每层之间有过渡层改变通道数大小,最后一层没有过渡层。 表1是DenseNet网络结构 表2是在CIFAR和SVHN上的对比实验。k越大网络参数越大,效果越好。k较小时,在过渡层是存在信息丢失问题 文章同时提出了DenseNet,DenseNet-B,DenseNet-BC三种结构,具体区别如下: ...
AlexNet在2012年ImageNet竞赛中以超过第二名10.9个百分点的绝对优势一举夺冠,从此深度学习和卷积神经网络名声鹊起,深度学习的研究如雨后春笋般出现,AlexNet的出现可谓是卷积神经网络的王者归来。 闪光点: 更深的网络 数据增广 ReLU dropout LRN 以上图AlexNet架构为例,这个网络前面5层是卷积层,后面三层是全连接层,最终so...
如下图所示,DenseNet的网络结构主要由DenseBlock和Transition组成: 接下来详细说一下网络的实现细节,在DenseBlock中,各个层的特征图大小一致,可以在channel维度上进行连接。DenseBlock中的非线性组合函数H采用的是BN+RELU+3x3 Conv的结构,如下图所示。另外值得注意的一点是,与ResNet不同,所有DenseBlock中各个卷积层之后...
ZFNet是2013ImageNet分类任务的冠军,其网络结构没什么改进,只是调了调参,性能较Alex提升了不少。ZF-Net只是将AlexNet第一层卷积核由11变成7,步长由4变为2,第3,4,5卷积层转变为384,384,256。这一年的ImageNet还是比较平静的一届,其冠军ZF-Net的名堂也没其他届的经典网络架构响亮。
ZFNet是2013ImageNet分类任务的冠军,其网络结构没什么改进,只是调了调参,性能较Alex提升了不少。ZF-Net只是将AlexNet第一层卷积核由11变成7,步长由4变为2,第3,4,5卷积层转变为384,384,256。这一年的ImageNet还是比较平静的一届,其冠军ZF-Net的名堂也没其他届的经典网络架构响亮。
CNN网络一般要经过Pooling或者stride>1的Conv来降低特征图的大小,而DenseNet的密集连接方式需要特征图大小保持一致。为了解决这个问题,DenseNet网络中使用DenseBlock+Transition的结构,其中DenseBlock是包含很多层的模块,每个层的特征图大小相同,层与层之间采用密集连接方式。而Transition模块是连接两个相邻的DenseBlock,并且通过...