3.3 self-attention的本质 透过方法看本质,我们来讨论一下上面这个self-attention官方公式到底怎么理解。首先要确认一个事实, Q,K,V 这三个矩阵其实都是输入矩阵 X 的某种线性变换,也就是 X 在隐空间的某种语义表示。换句话说,丢掉 W^Q,W^K,W^V 这三个矩阵也是可以训练的,但是复杂度不够,效果会受到影响。
Self-Attention 是根据 Attention 得到的,这里的 Self 说的实际上就是查询、键以及值是由同一个输入向量线性变换得到的,而不是完全不同的三个变量。具体来说就是每个查询都会关注所有的键-值对并生成一个注意力输出。 左边这张图对于每一个输入\mathbf{a}^i,都使用线性变换生成对应\mathbf{k}^i,同时使用线性...
文章详细介绍了sglang的kv cache管理模块,包括cache类实现、核心调度层数据结构、推理核心实现以及真正的后端操作。 sglang的kv cache管理相关模块位于python/sglang/srt/mem_cache目录,包含基于BasePrefixCache的类(如chunked cache、radix cache)和memory_pool。memory_pool主要管理reqtotoken和tokentokv两类映射关系。...
有前面的等式可以得到MHSA的计算复杂度: 很容易推断出空间复杂度(内存消耗)。对于高分辨率的输入,可能变得非常大,这限制了Transformer在视觉任务中的适用性。基于此,本文的目标是在不降低性能的情况下降低这种复杂性,并保持全局关系建模的能力。 Transformer Block Pytorch实现如下: classMlp(nn.Module): def__init__...
但是在做CNN的时候,self-attention是一种复杂化的CNN,在做CNN的时候只考虑感受野红框里面的信息,而感受野的范围和大小是人为决定的。但是self-attention由attention找到相关pixel,就好像是感受野的范围和大小是自动被学习出来的,所以CNN可以看作是self-attention的特例,二者关系如图20。 图20:CNN可以看做是self-attention...
在上述代码中,query、key、value指的并不是图6中的Q、K和V,而是没有经过线性变换前的输入。例如在编码时三者指的均是原始输入序列src;在解码时的Mask Multi-Head Attention中三者指的均是目标输入序列tgt;在解码时的Encoder-Decoder Attention中三者分别指的是Mask Multi-Head Attention的输出、Memory和Memory。key...
Self-Attention模型的输入只有一个序列，序列长度为 m，序列中的每个元素均为向量，对应的输出 H 是长度...