神剑山庄资源网 Design By www.hcban.com
使用torch.utils.data.Dataset类 处理图片数据时,
1. 我们需要定义三个基本的函数,以下是基本流程
class our_datasets(Data.Dataset): def __init__(self,root,is_resize=False,is_transfrom=False): #这里只是个参考。按自己需求写。 self.root=root self.is_resize=is_resize self.is_transfrom=is_transfrom self.imgs_list=...#这里建议保存的是 图片的路径 而不是 图片的数据 self.labs_list=... def __getitem__(self, index): img_path,lab=self.imgs_list[index],self.labs_list[index] #这里使用PIL库读取图片数据. img_data = Image.open(img_path).convert('RGB') #这里看自己需要,可以不要 if self.is_resize: img_data = img_data.resize((self.is_resize[0], self.is_resize[1]), Image.ANTIALIAS) #但是数据转换建议加上,很多时候都会用到 if self.is_transfrom: img_data=self.is_transfrom(img_data) return img_data,lab def __len__(self): return len(self.imgs_list)
这里,我将 读取图片 的步骤 放到 __getitem__ ,是因为 这样放的话,对内存的要求会降低很多,我们只是将数据的路径导入了内存中,当需要读取这个图片数据时,再读取,这样更像是随用随取。如果将这部分放到 __init__ 里面,会一次将 图片数据都加载到 内存中,如果数据量太大,会直接卡死。
2.Dataset 类 返回的数据 类型 是与你读取时的类型一致的。但是在 pytorch使用时,会提示
TypeError: batch must contain tensors, numbers, dicts or lists; found <class 'PIL.Image.Image'>
通常,在数据了不大时,我一般都是在 读取数据后 加一句,转换成 numpy.array类型。
但是,在处理较大型的数据时,这样会很慢。
这时候,我建议 直接使用 torchvision来进行数据转换。
is_transfrom=torchvision.transforms.ToTensor()
将 上例代码 加入 Dataset类中,这样就会快很多。
以上这篇pytorch下大型数据集(大型图片)的导入方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
神剑山庄资源网 Design By www.hcban.com
神剑山庄资源网
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件!
如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
神剑山庄资源网 Design By www.hcban.com
暂无pytorch下大型数据集(大型图片)的导入方式的评论...
更新日志
2024年09月30日
2024年09月30日
- 孙悦.1996-伙伴【正大国际】【WAV+CUE】
- 纪钧瀚《钢琴阅读时光 雨中书店聆听轻音乐》[FLAC/分轨][399.62MB]
- 证声音乐图书馆《走向自然 疗心爵士乐》[320K/MP3][87.4MB]
- 证声音乐图书馆《走向自然 疗心爵士乐》[FLAC/分轨][184.94MB]
- 陈慧娴.2018-Priscilla-Ism演唱会3CD(2024环球红馆40复刻系列)【环球】【WAV+CUE】
- 郑秀文.1999-我应该得到(国)【华纳】【WAV+CUE】
- 陈家慧.2011-钢琴酒吧2CD【龙吟唱片】【WAV+CUE】
- 证声音乐图书馆《雨季 蓝调吉他 Rainy Blues》[320K/MP3][45.01MB]
- 证声音乐图书馆《雨季 蓝调吉他 Rainy Blues》[FLAC/分轨][109.13MB]
- 赞多《序章》[320K/MP3][45.54MB]
- 许巍.2004-每一刻都是崭新的【步升大风】【WAV+CUE】
- 群星.2024-四方馆影视原声带【韶愔音乐】【FLAC分轨】
- 陈雷.1997-安锁咧【金圆唱片】【WAV+CUE】
- 关淑怡.2013-MY.FAVORITE.SK.3CD【环球】【WAV+CUE】
- Sweety.2006-花言乔语【丰华】【WAV+CUE】