auto_wrap_policy=auto_wrap_policy, activation_checkpointing=EncoderBlock, ) 替换为 strategy = FSDPStrategy( auto_wrap_policy=auto_wrap_policy, activation_checkpointing=EncoderBlock, cpu_offload=True ) 内存消耗从 6.59 GB 减少到 6.03 GB: 09_fsdp-cpu-offload-with-01-2.py 的结果。 美中不足的...
auto_wrap_policy=auto_wrap_policy, activation_checkpointing=EncoderBlock, ) 替换为 strategy = FSDPStrategy( auto_wrap_policy=auto_wrap_policy, activation_checkpointing=EncoderBlock, cpu_offload=True ) 内存消耗从 6.59 GB 减少到 6.03 ...
auto_wrap_policy=auto_wrap_policy, activation_checkpointing=EncoderBlock, ) 1. 2. 3. 4. 替换为: 复制 strategy = FSDPStrategy( auto_wrap_policy=auto_wrap_policy, activation_checkpointing=EncoderBlock, cpu_offload=True ) 1. 2. 3. 4. 5. 内存消耗从 6.59 GB 减少到 6.03 GB: 09_fsdp-cpu...
复制 auto_wrap_policy=partial(transformer_auto_wrap_policy,transformer_layer_cls={EncoderBlock})strategy=FSDPStrategy(auto_wrap_policy=auto_wrap_policy,activation_checkpointing=EncoderBlock)fabric=Fabric(accelerator="cuda",devices=4,strategy=strategy) 08_fsdp 与 - 01-2.py 的结果 除了手动定义,请也可...
strategy = FSDPStrategy( auto_wrap_policy=auto_wrap_policy, activation_checkpointing=EncoderBlock, cpu_offload=True) 内存消耗从 6.59 GB 减少到 6.03 GB: 09_fsdp-cpu-offload-with-01-2.py 的结果。 美中不足的小缺点是运行时间从 5.5 分钟增加到了 8.3 分钟。
strategy = FSDPStrategy( auto_wrap_policy=auto_wrap_policy, activation_checkpointing=EncoderBlock, cpu_offload=True) 内存消耗从 6.59 GB 减少到 6.03 GB: 09_fsdp-cpu-offload-with-01-2.py 的结果。 美中不足的小缺点是运行时间从 5.5 分钟增加到了 8.3 分钟。
strategy=FSDPStrategy(auto_wrap_policy=auto_wrap_policy,activation_checkpointing=EncoderBlock,cpu_offload=True) 内存消耗从 6.59 GB 减少到 6.03 GB: 09_fsdp-cpu-offload-with-01-2.py 的结果。 美中不足的小缺点是运行时间从 5.5 分钟增加到了 8.3 分钟。
strategy=FSDPStrategy(auto_wrap_policy=auto_wrap_policy,activation_checkpointing=EncoderBlock,cpu_offload=True) 内存消耗从 6.59 GB 减少到 6.03 GB: 09_fsdp-cpu-offload-with-01-2.py 的结果。 美中不足的小缺点是运行时间从 5.5 分钟增加到了 8.3 分钟。
strategy = FSDPStrategy(auto_wrap_policy=auto_wrap_policy,activation_checkpointing=EncoderBlock,cpu_offload=True) 内存消耗从 6.59 GB 减少到 6.03 GB: 09_fsdp-cpu-offload-with-01-2.py 的结果。 美中不足的小缺点是运行时间从 5.5 分钟增加到了 8.3 分钟。
strategy=FSDPStrategy(auto_wrap_policy=auto_wrap_policy,activation_checkpointing=EncoderBlock,cpu_offload=True) 内存消耗从 6.59 GB 减少到 6.03 GB: 09_fsdp-cpu-offload-with-01-2.py 的结果。 美中不足的小缺点是运行时间从 5.5 分钟增加到了 8.3 分钟。