显存足够+但依旧cuda+out+of+memory

2024-11-30 18:36:56

拼音 [ 拼音 ]

显存足够cuda out of memory_mob64ca1405a060的技术博客_51CTO博客

torch.FatalError: cuda runtime error (2) : out of memory at /opt/conda/conda-bld/pytorch_1524590031827/work/aten/src/THC/generic/THCStorage.cu:58 想必这是所有炼丹师们最不想看到的错误,没有之一。 OUT OF MEMORY,显然是显存装不下你那么多的模型权重还有中间变量,然后程序奔溃了。怎么办,其实办法...
深度学习显存足够但是显示CUDA out of memory怎么办? - 知乎

如果visible device超出你有的device数量范围的话会导致device找不到的问题。先设置成0试试看，然后加数 ...
...但是推理图片报cuda out of memory?显存远远足够的啊 · Issue...

modeling_qwen2_vl.py", line 350, in forward attn_output = F.scaled_dot_product_attention(q, k, v, attention_mask, dropout_p=0.0) torch.OutOfMemoryError: CUDA out of memory. Tried to allocate 122.99 GiB. GPU 0 has a total capacity of 47.5...
显存足够但 CUDA out of memory ,为什么? - 知乎

RuntimeError: CUDA out of memory. Tried to allocate 80.00 MiB (GPU 0; 2.00 GiB total capac...