fused_recurrent_rwkv6中调用的是FusedRecurrentRWKV6Function这个autograd.Function,还需要往里看一层。 # 这段代码定义了一个名为 FusedRecurrentRWKV6Function 的自定义 PyTorch 自动求导函数, # 并实现了其前向传播过程。该类用于计算融合的循环自注意力机制。 class FusedRecurrentRWKV6Function(torch.autograd.Fu...
这段代码就是要分别profile hf_rwkv6_linear_attention_cpu,rwkv6_cuda_linear_attention,fused_recurrent_rwkv6,chunk_rwkv6这三个api看一下它们的性能表现以及GPU kernel的详细使用情况。但这段代码中有一些需要说明的地方: hf_rwkv6_linear_attention_cpu这个api接收的输入Tensor形状和fla包提供的两个加速api...