Sanity Checking Dataloader 是一种在模型训练前对数据加载器(DataLoader)进行基本验证的方法,以确保数据加载过程没有问题,从而避免在长时间的训练过程中发现数据问题导致的时间浪费。以下是对 Dataloader 进行 Sanity Check 的几个关键步骤和注意事项: 1. 确认 Dataloader 的功能和预期行为 功能理解:首先,需要明确 Datalo...
Sanity Checking DataLoader 0: 0%| | 0/2 [00:00<?, ?it/s] CUDA Error: invalid device function /PATH/hyena-dna/flash-attention/csrc/layer_norm/ln_fwd_kernels.cuh 271 Best Dié Hi I receive same error at same execution Sanity Checking DataLoader 0: 0%| | 0/2 [00:00<?, ?it/s]...