XOR问题不能被单独一层网络解决。 泛化误差 泛化即推广能力。 考虑在假设空间中的best function和可以从数据集中学到的best function之间的距离。 优化误差 因为优化问题带来的误差。 即从能数据集中学到的best function和使用该算法从数据集中学到的best function之间的距离。 上图是一个很形象的示意图。实际目标函数...
性能差距在于,神经网络的准确性可以通过将总误差分为三种主要类型来表征:逼近误差、优化误差和泛化误差[1, 17, 13, 16]。通用逼近定理仅保证了足够大网络的小逼近误差,但完全不考虑优化误差和泛化误差,这些在实践中同样重要且通常是主要的总误差来源。实用的网络应该易于训练,即表现出小的优化误差,并且对未见过的数...