def_save(obj,zip_file,pickle_module,pickle_protocol):serialized_storages={}# 暂存具体数据内容以及其对应的keydefpersistent_id(obj):iftorch.is_storage(obj):# 如果是需要存储的数据内容storage_type=normalize_storage_type(type(obj))# 存储类型,int, float, ...obj_key=str(obj._cdata)# 数据内容对...
针对大规模数据的训练有许多应对思路,其中一个方式是将预处理后的数据序列化,存储为支持快速流式读取的文件格式,比如 TensorFlow 中的 TFRecord ,MXNet 使用的 RecordIO,简单且有效。而上述的 map-style 显然是不支持流式读取这种方式的,因此在 PyTorch 1.2 引入了一个 iter-style 的 IterableDataset ,以支持流式...