首先根据传入的 cross_attention_kwargs 参数,通过 create_controller 方法 实例化对应的注意力图修改类。然后通过 prompt2prompt pipeline 的 register_attention_control 方法 controller 实例化对应的 P2PAttnProcessor 类 ,并遍历替换掉 UNet 各层的原AttnProcessor 类,这里其实只需要增加一行,在此处使用 controller 对...
compile(kwargs["optimizer"], loss=kwargs["loss"], lr=learning_rate) self.reset_parameters() self.model_to_device() def forward(self, inputs): """ Inputs: [X,y] """ X, y = self.inputs_to_device(inputs) feat_emb = self.embedding_layer(X) cross_i, deep_i = self.regulation...