gpt及 attention结构理解 | 目前attention 结构在通用智能领域展现出无可替代的作用,下面简单分享下我对该结构的理解: 它涌现出两个能力至关重要1:可在线评估上下文关系 2:具有记忆能力 kv cache缓存。该结构对标人类大脑: 大脑中突触的连接关系,代表一代代人类进化过程中的权重关系,即每一代个体都是新的训练好的...