错误信息:
RuntimeError: in-place operations can be only used on variables that don't share storage with any other variables, but detected that there are 4 objects sharing it
自动求导是很方便, 但是想想, 如果两个Variable共享内存, 再对这个共享的内存的数据进行修改, 就会引起错误!
一般是由于 inplace操作或是indexing或是转置. 这些都是共享内存的.
@staticmethod def backward(ctx, grad_output): ind_lst = ctx.ind_lst flag = ctx.flag c = grad_output.size(1) grad_former_all = grad_output[:, 0:c//3, :, :] grad_latter_all = grad_output[:, c//3: c*2//3, :, :] grad_swapped_all = grad_output[:, c*2//3:c, :, :] spatial_size = ctx.h * ctx.w W_mat_all = Variable(ctx.Tensor(ctx.bz, spatial_size, spatial_size).zero_()) for idx in range(ctx.bz): W_mat = W_mat_all.select(0,idx) for cnt in range(spatial_size): indS = ind_lst[idx][cnt] if flag[cnt] == 1: # 这里W_mat是W_mat_all通过select出来的, 他们共享内存. W_mat[cnt, indS] = 1 W_mat_t = W_mat.t() grad_swapped_weighted = torch.mm(W_mat_t, grad_swapped_all[idx].view(c//3, -1).t()) grad_swapped_weighted = grad_swapped_weighted.t().contiguous().view(1, c//3, ctx.h, ctx.w) grad_latter_all[idx] = torch.add(grad_latter_all[idx], grad_swapped_weighted.mul(ctx.triple_w))
由于 这里W_mat是W_mat_all通过select出来的, 他们共享内存. 所以当对这个共享的内存进行修改W_mat[cnt, indS] = 1, 就会出错. 此时我们可以通过clone()将W_mat和W_mat_all独立出来. 这样的话, 梯度也会通过 clone()操作将W_mat的梯度正确反传到W_mat_all中.
@staticmethod def backward(ctx, grad_output): ind_lst = ctx.ind_lst flag = ctx.flag c = grad_output.size(1) grad_former_all = grad_output[:, 0:c//3, :, :] grad_latter_all = grad_output[:, c//3: c*2//3, :, :] grad_swapped_all = grad_output[:, c*2//3:c, :, :] spatial_size = ctx.h * ctx.w W_mat_all = Variable(ctx.Tensor(ctx.bz, spatial_size, spatial_size).zero_()) for idx in range(ctx.bz): # 这里使用clone了 W_mat = W_mat_all.select(0,idx).clone() for cnt in range(spatial_size): indS = ind_lst[idx][cnt] if flag[cnt] == 1: W_mat[cnt, indS] = 1 W_mat_t = W_mat.t() grad_swapped_weighted = torch.mm(W_mat_t, grad_swapped_all[idx].view(c//3, -1).t()) grad_swapped_weighted = grad_swapped_weighted.t().contiguous().view(1, c//3, ctx.h, ctx.w) # 这句话删了不会出错, 加上就吹出错 grad_latter_all[idx] = torch.add(grad_latter_all[idx], grad_swapped_weighted.mul(ctx.triple_w))
但是现在却出现 4个objects共享内存. 如果将最后一句话删掉, 那么则不会出错.
如果没有最后一句话, 我们看到
grad_swapped_weighted = torch.mm(W_mat_t, grad_swapped_all[idx].view(c//3, -1).t())
grad_swapped_weighted = grad_swapped_weighted.t().contiguous().view(1, c//3, ctx.h, ctx.w)
grad_swapped_weighted 一个新的Variable, 因此并没有和其他Variable共享内存, 所以不会出错. 但是最后一句话,
grad_latter_all[idx] = torch.add(grad_latter_all[idx], grad_swapped_weighted.mul(ctx.triple_w))
你可能会说, 不对啊, 修改grad_latter_all[idx]又没有创建新的Variable, 怎么会出错. 这是因为grad_latter_all和grad_output是共享内存的. 因为 grad_latter_all = grad_output[:, c//3: c*2//3, :, :], 所以这里的解决方案是:
@staticmethod def backward(ctx, grad_output): ind_lst = ctx.ind_lst flag = ctx.flag c = grad_output.size(1) grad_former_all = grad_output[:, 0:c//3, :, :] # 这两个后面修改值了, 所以也要加clone, 防止它们与grad_output共享内存 grad_latter_all = grad_output[:, c//3: c*2//3, :, :].clone() grad_swapped_all = grad_output[:, c*2//3:c, :, :].clone() spatial_size = ctx.h * ctx.w W_mat_all = Variable(ctx.Tensor(ctx.bz, spatial_size, spatial_size).zero_()) for idx in range(ctx.bz): W_mat = W_mat_all.select(0,idx).clone() for cnt in range(spatial_size): indS = ind_lst[idx][cnt] if flag[cnt] == 1: W_mat[cnt, indS] = 1 W_mat_t = W_mat.t() grad_swapped_weighted = torch.mm(W_mat_t, grad_swapped_all[idx].view(c//3, -1).t()) grad_swapped_weighted = grad_swapped_weighted.t().contiguous().view(1, c//3, ctx.h, ctx.w) grad_latter_all[idx] = torch.add(grad_latter_all[idx], grad_swapped_weighted.mul(ctx.triple_w)) grad_input = torch.cat([grad_former_all, grad_latter_all], 1) return grad_input, None, None, None, None, None, None, None, None, None, None
补充知识:Pytorch 中 expand, expand_as是共享内存的,只是原始数据的一个视图 view
如下所示:
mask = mask_miss.expand_as(sxing).clone() # type: torch.Tensor
mask[:, :, -2, :, :] = 1 # except for person mask channel
为了避免对expand后对某个channel操作会影响原始tensor的全部元素,需要使用clone()
如果没有clone(),对mask_miss的某个通道赋值后,所有通道上的tensor都会变成1!
# Notice! expand does not allocate more memory but just make the tensor look as if you expanded it.
# You should call .clone() on the resulting tensor if you plan on modifying it
# https://discuss.pytorch.org/t/very-strange-behavior-change-one-element-of-a-tensor-will-influence-all-elements/41190
以上这篇解决Pytorch自定义层出现多Variable共享内存错误问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
《魔兽世界》大逃杀!60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容,新游玩模式《强袭风暴》即将于3月21 日在亚服上线,届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕,并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时,他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中,玩家将会进入一个全新的海盗主题大逃杀式限时活动,其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场,作为一个独立于主游戏之外的活动,玩家可以用大逃杀的风格来体验《魔兽世界》,不分职业、不分装备(除了你在赛局中捡到的),光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式,玩家在加入海盗主题的预赛大厅区域前,可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹,《巨龙崛起》和《魔兽世界:巫妖王之怒 经典版》的玩家都可以获得奖励。
更新日志
- 【雨果唱片】中国管弦乐《鹿回头》WAV
- APM亚流新世代《一起冒险》[FLAC/分轨][106.77MB]
- 崔健《飞狗》律冻文化[WAV+CUE][1.1G]
- 罗志祥《舞状元 (Explicit)》[320K/MP3][66.77MB]
- 尤雅.1997-幽雅精粹2CD【南方】【WAV+CUE】
- 张惠妹.2007-STAR(引进版)【EMI百代】【WAV+CUE】
- 群星.2008-LOVE情歌集VOL.8【正东】【WAV+CUE】
- 罗志祥《舞状元 (Explicit)》[FLAC/分轨][360.76MB]
- Tank《我不伟大,至少我能改变我。》[320K/MP3][160.41MB]
- Tank《我不伟大,至少我能改变我。》[FLAC/分轨][236.89MB]
- CD圣经推荐-夏韶声《谙2》SACD-ISO
- 钟镇涛-《百分百钟镇涛》首批限量版SACD-ISO
- 群星《继续微笑致敬许冠杰》[低速原抓WAV+CUE]
- 潘秀琼.2003-国语难忘金曲珍藏集【皇星全音】【WAV+CUE】
- 林东松.1997-2039玫瑰事件【宝丽金】【WAV+CUE】