1*1的卷积作用 实现跨通道的交互和信息整合,实现卷积核通道数的降维和升维,可以实现多个feature map的线性组合,而且可实现与全连接层的等价效果。 Bottleneck 怎样才能减少卷积层参数量? 如果仅仅引入多个尺寸的卷积核,会带来大量的额外的参数,受到Network In Network中1×1卷积核的启发,为了解决这个问题,他们往Incepti...
为什么要分别使用1*1,3*3,1*1的卷积核进行降维和升维 技术标签:人工智能计算机视觉 使用三个不同大小的卷积核是为了减少参数的数量。 1.首先是卷积核的数量问题。 因为一张图片可能有很多特征,所以可能需要学习多个卷积核用来提取图像特征。 图中不同颜色代表不同的特征,需要学习对应数量的卷积核进行特征提取。
2、升维(用最少的参数拓宽网络channal) 例子:上一个例子中,不仅在输入处有一个1*1卷积核,在输出处也有一个卷积核,3*3,64的卷积核的channel是64,只需添加一个1*1,256的卷积核,只用64*256个参数就能把网络channel从64拓宽四倍到256。 3、跨通道信息交互(channal 的变换) 例子:使用1*1卷积核,实现降维和升...
1*1卷积核的作用 进行降维和升维引起人们重视的(可能)是在GoogLeNet里。对于每一个Inception模块(如下图),原始模块是左图,右图中是加入了1×1卷积进行降维的。虽然左图的卷积核都比较小,但是当输入和输出的通道数很大时,乘起来也会使得卷积核参数变的很大,而右图加入1×1卷积后可以降低输入的通道数,卷积核参数...
在下面的两幅动图中,左图表示使用3*3卷积核进行卷积运算的经过,可以看到输出feature map的尺寸发生了变化。右图表示使用1*1卷积核进行卷积的经过,输出feature map的尺寸与输入图像保持一致。 由此看到,使用1*1卷积核,可以实现多个feature map的线性组合,并实现通道数的升维与降维。回到开头提出的问题,本文将从以下...
1x1的卷积核由于大小只有1x1,所以并不需要考虑像素跟周边像素的关系,它主要用于调节通道数,对不同的通道上的像素点进行线性组合,然后进行非线性化操作,可以完成升维和降维的功能,如下图所示,选择2个1x1大小的卷积核,那么特征图的深度将会从3变成2,如果使用4个1x1的卷积核,特征图的深度将会由3变成4。
GoogleNet中的Inception(升维和降维)、ResNet中的残差模块 作用 跨通道的特征整合 例子:使用1 ∗ 1 1*11∗1卷积核,实现降维和升维的操作其实就是channel间信息的线性组合变化,3 ∗ 3 3*33∗3,64channels的输入后面添加一个1 ∗ 1 1*11∗1,28channels的卷积核,就变成了3 ∗ 3 3*33∗3,...
总结一下,1x1的卷积核可以进行降维或者升维,也就是通过控制卷积核(通道数)实现,这个可以帮助减少模型参数,也可以对不同特征进行尺寸的归一化;同时也可以用于不同channel上特征的融合。一个trick就是在降维的时候考虑结合传统的降维方式,如PCA的特征向量实现,这样效果也可以得到保证。
3、跨通道信息交互(channal 的变换)。使用1x1卷积核,实现降维和升维的操作其实就是channel间信息的线性组合变化,3x3,64channels的卷积核后面添加一个1x1,28channels的卷积核,就变成了3x3,28channels的卷积核,原来的64个channels就可以理解为跨通道线性组合变成了28channels,这就是通道间的信息交互。
毕竟网络的参数越多，容量越大，越难训练；而且经常使用它做升维降维，比如channel=128，经过1*1卷积后...