网络上关于 KAN 与 MLP 之间差异的讨论有很多,但对于愚笨的我来说这些讨论多少有些抽象,因此希望通过可视化的方式直观地将两者进行对比。 矩阵的表示 在讨论 KAN 和 MLP 之前,我们先来回顾一下矩阵的概念。矩阵可以被理解为一种线性变换,以二维线性变换为例,其对应的运算可以通过下图表示。 图1,二维线性变换的运...
二、KAN与MLP的比较 1. 理论依据方面 在机器学习的世界里,理论是建立模型的基石。MLP(多层感知网络)的理论基础是UAT(通用逼近理论),这一理论已经被广泛验证,支持了众多基于MLP的神经网络架构,尤其是如Transformer这样的动态模型。然而,KAN的理论基础则相对弱化。虽然Kolmogorov-Arnold表示定理为两层KAN网络提供了一定的...