激活检查点 (Activation Checkpointing) 是一种用于减小内存占用的技术,代价是需要更多的计算资源。它利用一个简单的观察,即如果我们只是在需要时重新计算反向传播所需的中间张量,就可以避免保存这些中间张量。 目前在PyTorch中有两种 Activation Checkpointing 的实现,即可重新进入 (reentrant) 和不可重新进入(non-reentra...
基本原理：激活检查点是一种减小内存占用的技术，它通过在反向传播时仅重新计算必要的中间张量，而不是保存所有这些张量，从而节省显存。PyTorch中的实现：PyTorch提供了两种激活检查点的实现：可重新进入和不可重新进入版本。不可重新进入版本：利用了autograd的保存变量钩子机制，在前向传递中使用钩子保存张量...
在PyTorch中，自动求导通过张量的.requires_grad属性启动，对张量的每个变换都会创建一个包含反向传播转换的对象。所有这些对象连接形成有向无环图（DAG）。当创建新节点时，自动求导通过将其.next_functions属性指向创建它的现有节点，将其添加到图中。以加法和正弦函数为例，代码片段展示了如何创建计算图中...
stage_backward_weightimporttorch.nnasnnfromtorch.distributed.algorithms._checkpoint.checkpoint_wrapperimportcheckpoint_wrapperdefexample(checkpoint):torch.manual_seed(0)x=torch.tensor((1.,),requires_grad=True)classSimpleModel(nn.Module):def__init__(self,num_layers=5):super().__init__()self.layers...
用checkpointing重计算中间结果 常规的训练会在forward阶段保存所有输出的结果(但也会占用更多的显存),backward阶段则不用再次计算,这会限制最大可达到的batch size数。通过使用activation checkpointing,在forward阶段只保留某些运算的输出(占用更少的显存),在backward阶段,剩余的中间值被重新计算(额外的计算开销),这使得...
Checkpointing works by trading compute for memory. Rather than storing all intermediate activations of the entire computation graph for computing backward, the checkpointed part does **not** save intermediate activations, and instead recomputes them in backward pass. It can be applied on any part...
Checkpointing works by trading compute for memory. Rather than storing all intermediate activations of the entire computation graph for computing backward, the checkpointed part does **not** save intermediate activations, and instead recomputes them in backward pass. It can be applied on any part...
Checkpointing currently only supports :func:`torch.autograd.backward` and only if its `inputs` argument is not passed. :func:`torch.autograd.grad` is not supported. .. warning: At least one of the inputs needs to have :code:`requires_grad=True` if ...
🐛 Describe the bug Enable FSDP with activation checkpointing on GPTLMHeadModel. Got bellow error when I use CheckpointImpl.NO_REENTRANT Traceback (most recent call last): File "train_llama_fsdp_datasets.py", line 219, in <module> trainer...
我们可以通过将“activation_checkpointing=EncoderBlock”添加到我们之前使用的 FSDP 策略中来使用激活检查...