注意:当stride为1的时候,kernel为3、padding为1或者kernel为5、padding为2,这两种情况可直接得出卷积前后特征图尺寸不变。 注意不同的深度学习框架,卷积/池化函数的输出shape计算会有和上述公式有所不同,我给出的公式是简化版,适合面试题计算,实际框架的计算比这复杂,因为参数更多。 2.3,理解边界效应与填充 padding 如果
但是我们也不难发现这个方法存在的问题:如果图像已知部分找不到相似的patch,那算法将无法进行;这个方法只适用于补全背景以低频信息和重复性纹理为主的图像;搜索相似的patch计算复杂度非常高,算法运行效率低。 Scene Completion Using Millions of Photographs 算法的大致流程如下: 1)从Flickr上下载两百万图片构建数据库,...
三十五,CNN的反向传播算法推导 三十六,Focal Loss 公式 三十七,快速回答 37.1,为什么 Faster RCNN、Mask RCNN 需要使用 ROI Pooling、ROI Align? 37.2,softmax公式 37.3,上采样方法总结 37.4,移动端深度学习框架知道哪些,用过哪些? 37.5,如何提升网络的泛化能力 37.6,BN算法,为什么要在后面加伽马和贝塔,不加可以吗...
选取合适的优化算法(例如梯度下降,Adam等) 是否存在过拟合 1.24深度学习训练中是否有必要使用L1获得稀疏解? 没必要。对于加了L1正则的神经网络,大部分深度学习框架自带的优化器训练获得不了稀疏解;如果稀疏解的模式是无规律的,这种稀疏意义不大。 1.25神经网络数据预处理方法有哪些?中心化/零均值,归一化 1.26如何初始...
算法工程师-深度学习类岗位面试题目 1.你觉得 batch-normalization 过程是什么样的 l按 batch 进行期望和标准差计算 l 对整体数据进行标准化 l 对标准化的数据进行线性变换 l 变换系数需要学习 2.激活函数有什么用?常见的激活函数的区别是什么? 激活函数作用:如果不用激励函数(其实相当于激励函数是 f(x) = x...
由y=-logx的图像可知,当预测值越接近于1,则损失值越小;当预测值越接近于0,则损失值越大。 二分类任务—不再使用softmax函数,而是使用sigmoid激活函数,交叉熵损失如下: 回归任务中的损失函数: MAE损失(Mean Absolute Loss)—L1 Loss,以绝对误差作为距离 L1 Loss的图像: L1 Loss的最大问题是梯度在零点不平滑,...
接下来的10题,深度解读SGD算法——GD的尖端升级版。聚焦深度学习面试高频考点:批量GD、小批量GD与SGD的差异剖析,揭示批量大小的关键作用。深入探讨Hessian矩阵在优化算法中的应用,并揭开RMSProp及备受瞩目的Adam算法的神秘面纱。 接下来的10个问题,将深入探讨复杂主题,揭开Adam W算法的神秘面纱,并详解批量归一化的核心...
在深度学习的优化过程中, \theta_t是t时刻的模型权重weights, v_t是t时刻的shadow weights,在梯度下降过程中,会一直维护着这个shadow weights(不参与训练的),基本的假设是,模型权重在最后的n步内,会在实际的最优点处抖动,所以取最后n步的平均,使得模型更加鲁棒。
深度学习面试题第十七章模型压缩,加速及移动端部署试题及答案 土星搜题 不喜欢 不看的原因 确定 内容质量低 不看此公众号 简单易学的生活小魔术骰子穿越 魔天楼魔术 不喜欢 不看的原因 确定 内容质量低 不看此公众号 初二期末压轴题练习6 六小强分享 不喜欢...