实际上:depth-wise卷积的FLOPs更少没错,但是在相同的FLOPs条件下,depth-wise卷积需要的IO读取次数是普通卷积的100倍,因此,由于depth-wise卷积的小尺寸,相同的显存下,我们能放更大的batch来让GPU跑满,但是此时速度的瓶颈已经从计算变成了IO。大部分时候对于GPU而言,算力瓶颈在于访存带宽。而同种计算量,访存数据量差异...
conv,dw卷积的理解 AI进阶 电子科技大学 工学硕士 1、 普通卷积的理解 在每个input通道上,利用filter进行卷积,卷积是移窗滑动进行乘加操作,具体一个输入是1*2*224*224的输入,进行一个2*2滑窗时候,输出如下图展示:先在1个chann… 阅读全文 ...
最近读《Self-Attention ConvLSTM for Spatiotemporal Prediction》论文的时候, 里面作者提到了一个名词叫做depth-wise separable convolution。 深度可分离卷积, 相比较于常规的卷积操作, 其参数数量和运算成本比较低。因此,在参数量相同的前提下,采用Separable Convolution的神经网络层数可以做的更深。这... ...
Depth-wise separable convolution :深度分离卷积,出自mobilenet和xception。 MobileNet是基于深度可分离卷积的,通俗来说,深度可分离卷积就是:把标准卷积分解成深度卷积(depthwise convolution)和逐点卷积(pointwise convolution)。这么做的好处就是可以再损失精度不多的情况下大幅度降低参数量和计算量。分解过...猜...
最近读《Self-Attention ConvLSTM for Spatiotemporal Prediction》论文的时候, 里面作者提到了一个名词叫做depth-wise separable convolution。 深度可分离卷积, 相比较于常规的卷积操作, 其参数数量和运算成本比较低。因此,在参数量相同的前提下,采用Separable Convolution的神经网络层数可以做的更深。这... ...
最近读《Self-Attention ConvLSTM for Spatiotemporal Prediction》论文的时候, 里面作者提到了一个名词叫做depth-wise separable convolution。 深度可分离卷积, 相比较于常规的卷积操作, 其参数数量和运算成本比较低。因此,在参数量相同的前提下,采用Separable Convolution的神经网络层数可以做的更深。这... ...