[习题2-1] 分析为什么平方损失函数不适用于分类问题。答:因为分类问题不连续,使用平方损失函数,只要分类错误其loss便相等,没有距离概念,在分类错误的情况下无法判断优化的好坏。 举个例子,若有类型 a,b,c ,…
[习题3-1] 证明在两类线性分类中,权重向量 w 与决策平面正交。 证明: 决策平面: wTx+b=0 现假设在决策平面上有两个点 x1,x2 因此: {wTx1+b=0wTx2+b=0 相减得: wT(x1−x2)=0 其中x1−x2 为决策平面上的任意向量, w 与决策平面上的向量内积为0 ,所以权重向量 w 与决策平面正交。
【邱希鹏】神经网络与深度学习课后习题-chap2 1. 分析为什么平方损失函数不适用于分类问题. 答: 分类问题中的标签,是没有连续的概念的。每个标签之间的距离也是没有实际意义的,所以预测值 和 标签两个向量之间的平方差这个值不能反应分类这个问题的优化程度。 假设分类问题的类别是1,2,3 那么对于一个真实类别为2...
[习题4-9] 梯度消失问题是否可以通过增加学习率来缓解? 答: 梯度消失问题是由于激活函数为类似于sigmoid与tanh,其值太大或太小时导数都趋于0;并且在深层神经网络中,误差反向传播时,传播到前几层时梯度信息也会很小。问题是可否通过增大学习率来增大梯度,以至于梯度信息可以在更新时变大。 答案是不行,增大学习率...