在这篇论文中,我们使用了玩具模型(Toy Models) —— 在具有稀疏输入特征的合成的数据上训练的小型 ReLU 网络 —— 来研究模型如何在维度之外表示更多的特征,以及何时会出现这种现象。我们将这种现象称为叠加(superposition)。当特征稀疏时,叠加允许超越线性模型所能做的压缩,但代价是需要非线性滤波的“干扰”。 考虑...
The unit should be a simple "quantum toy," an easy to handle superposition state. Here such a novel unit of quantum mechanical flux state (or ... Tatara,G.,Garcia,... - 《Physical Review Letters》 被引量: 56发表: 2003年 Input/output automata: basic, timed, hybrid, probabilistic, dyna...