为什么模型训练阶段，loss和val_loss上下波动?举个梯度下降法的例子，算法会沿着梯度最大的方向搜索最值...
我采用了AlexNet架构，对图像进行了预处理，增强了图像，使用了LeakyReLU激活功能，利用了辍学，并尝试调整...
如题,我用lstm做一个时序数据分类预测,损失函数是交叉熵损失,结果train loss很快降到0.69,之后也缓慢下降;但val loss从一开始训练就在0.69左右波动,没有下降和收敛的兆头,一些参数设置如下,百度了试过改参数初始化、加bn、改lstm层数、还把adam换了都不行,loss根本不下降,求求救救我!!(相同的数据用SVM做分类,...
风起QAQ 初级粉丝 1 虽然整体在下降,为什么会有上升的情况呢? 搯不起来 正式会员 5 你用的什么optimization?如果是stochastic/mini-batch gradient descent, 这种问题并不奇怪,因为每一次update算得不是所有training sample的error gradient,而是一个或一组的 鱼丸粗面fbtn 中级粉丝 2 波动很正常 ...
CNN的tran_loss下降，val_loss一直上升，训练acc到1，验证的在0.1-0.2波动？我这边是论文工作室的 招兼职或全职设计师