随着机器学习理论的发展,现代化的神经网络可以被理论上更好的优化器(如AdamW)和更好的损失函数(CrossEntropy with label smoothing)训练。Cosine learning rate decay也在近年被大量使用,因为相比 step decay,它的调参更为简单而且效果不会差。在这篇工作中,我们通过叠加实验量化了每种优化策略对PointNet++的影响。同样...
随着机器学习理论的发展,现代化的神经网络可以被理论上更好的优化器(如AdamW)和更好的损失函数(CrossEntropy with label smoothing)训练。Cosine learning rate decay也在近年被大量使用,因为相比 step decay,它的调参更为简单而且效果不会差。在这篇工作中,我们通过叠加实验量化了每种优化策略对PointNet++的影响。同样...
训练效果不够理想的原因可能是调参的原因(有点怀疑是不是eval写的不对),对比了大佬的网络参数是一样的(除了最后是40分类)。 组网时尽量按照一类结构一个类的方式,锻炼了一下自己的组网能力。 这里为什么改用1x1的二维卷积,我想我还需要再慢慢研究下。 数据加载那儿的[1024, 3]换到[3, 1024]用transpose就行了...
PointNet++是Charles R. Qi团队在PointNet论文基础上改进版本，其核心是提出了多层次特征提取结构，有效提...
Cosine learning rate decay也在近年被大量使用,因为相比 step decay,它的调参更为简单而且效果不会差。在这篇工作中,我们通过叠加实验量化了每种优化策略对PointNet++的影响。同样的,针对每一个数据集,我们提出了一组改进的优化技术可以进一步提高网络性能。
一方面 pointnet 模型采用的是 L2 正则化,相比于 L1 正则化要更好,另一方面,采取的 alpha*L1+(1-alpha)*L2 可能效果更好, 因为调参的问题, 我自己没调出来。 总的来说,其他常规深度学习优化对于 pointnet 应该是能带来一些提升的,大家可以试一下。
摘要 本发明公开了一种基于PointNet++神经网络混凝土管道损伤识别与体积量化方法,包括获取混凝土管道损伤三维点云数据集,数据处理及划分,构建PointNet++神经网络模型并训练,模型调参,模型测试和体积量化的步骤。本发明方法研发了适用于混凝土管道损伤检测与体积量化的PointNet++神经网络算法,基于深度相机采集的三维数据进行模...
10.s4、模型调参:按顺序调整超参数,将验证集数据导入到模型,对比不同超参数下模型的损失值及准确率的变化曲线,寻找最优超参数,得到最优pointnet++神经网络模型; 11.s5、模型测试:将测试集数据导入到最优pointnet++神经网络模型进行测试,输出各项数值评价指标,判断是否达到预期值; ...
Cosine Learning Rate Decay 与Step Decay相比更易调参,也能达到SOTA的性能。 对于缩放策略,我们有如下结论: 提出的每一个模型改进(InvResMLP中的每一个部件,以及宏观网络结构的改进)都提升了模型的性能; 改进后的模型具有更强的可扩展性。与naive scaling(增大PointNet++的深度和广度)相比,我们的模型具有显著的性能...
Cosine Learning Rate Decay 与Step Decay相比更易调参,也能达到SOTA的性能。 对于缩放策略,我们有如下结论: 提出的每一个模型改进(InvResMLP中的每一个部件,以及宏观网络结构的改进)都提升了模型的性能; 改进后的模型具有更强的可扩展性。与naive scaling(增大PointNet++的深度和广度)相比,我们的模型具有显著的性能...