下面是DataPrefetcher的简易实现: importtorchimporttimefromthreadingimportThreadclassDataPrefetcher:def__init__(self,data_loader):self.data_loader=data_loader self.stream=torch.cuda.Stream()self.prefetch_thread=Thread(target=self._get_next)self.data_iter=iter(data_loader)self.next_data=Noneself._prefe...
使用prefetch_generator,我们可以保证线程不会等待,每个线程都总有至少一个数据在加载。 (2)data_prefetcher 更新:经评论区提醒,有同学在用这个技术的时候遇到显存溢出的问题,见 apex issues ,大家用的时候注意一下。 使用data_prefetcher 新开 cuda stream 来拷贝 tensor 到 gpu。 使用: class DataPrefetcher(): d...
[k] = batch[k].to(device=opt.device, non_blocking=True) run_step() # ---改造后--- prefetcher = DataPrefetcher(data_loader, opt) batch = prefetcher.next() iter_id = 0 while batch is not None: iter_id += 1 if iter_id >= num_iters: break run_step() batch = prefetcher.next...
一、建立data_prefetcher类 classdata_prefetcher():def__init__(self,loader):self.loader=iter(loader)self.stream=torch.cuda.Stream()self.mean=torch.tensor([0.485*255,0.456*255,0.406*255]).cuda().view(1,3,1,1)self.std=torch.tensor([0.229*255,0.224*255,0.225*255]).cuda().view(1,3,1,...
DataPrefetcher对DataLoader又包了一层,需要注意pin_memory=True时non_blocking=true才才生效,next()函数直接返回data而无需等待cuda()。实验结果如下,和预期的差不多,并无明显的改善。说到cuda(),有个小细节需要注意: 代码语言:javascript 代码运行次数:0 运行代码...
classDataPrefetcher():def__init__(self,loader,opt):self.loader=iter(loader)self.opt=opt self.stream=torch.cuda.Stream()# With Amp,it isn't necessary to manually convert data to half.#ifargs.fp16:# self.mean=self.mean.half()# self.std=self.std.half()self.preload()defpreload(self):...
登录后复制classDataPrefetcher():登录后复制def__init__(self, loader, opt):登录后复制self.loader = iter(loader)登录后复制self.opt = opt登录后复制self.stream = torch.cuda.Stream()登录后复制# With Amp, it isn't necessary to manually convert data to half.登录后复制# if args.fp16:登录后复...
5. data Prefetch Nvidia Apex中提供的解决方案 参考来源:https://zhuanlan.zhihu.com/p/66145913 Apex提供的策略就是预读取下一次迭代需要的数据。 classdata_prefetcher():def__init__(self, loader): self.loader =iter(loader) self.stream = torch.cuda.Stream() ...
class data_prefetcher():def __init__(self, loader):self.loader = iter(loader)self.stream = torch.cuda.Stream()self.mean = torch.tensor([0.485 * 255, 0.456 * 255, 0.406 * 255]).cuda().view(1,3,1,1)self.std = torch.tensor([0.229 *...
iteration +=1# 训练代码data, label = prefetcher.next() AI代码助手复制代码 这样子我们的 Dataloader 就像打了鸡血一样提高了效率很多,如下图: 当然,最好的解决方案还是从硬件上,把读取速度慢的机械硬盘换成 NVME 固态吧～ 补充:Pytorch设置多线程进行dataloader时影响GPU运行 ...