scores.masked_fill(mask, value)是 PyTorch 中的一个函数,用于对张量进行按位替换操作。它接受两个参数:mask和value。 mask是一个布尔类型的张量,用于指示要进行替换的位置。与被操作的张量scores具有相同的形状。在mask中,为True的位置将会被替换,为False的位置保持不变。 value是一个标量或与被操作的张量scores...
dec_self_attn_subsequent_mask = get_attn_subsequent_mask(dec_inputs) # 两个mask矩阵相加,大于0的为1,不大于0的为0,既屏蔽了pad的信息,也屏蔽了未来时刻的信息,为1的在之后就会被fill到无限小 # 使用gt()函数,因为可能会有在两个mask都被屏蔽的情况,1+1=2 dec_self_attn_mask = torch.gt((dec_...