可视化pytorch 模型中不同BN层的running mean曲线实例

脚本专栏 2024/9/29 佚名

2 0 1

神剑山庄资源网 Design By www.hcban.com

加载模型字典

逐一判断每一层，如果该层是bn 的 running mean，就取出参数并取平均作为该层的代表

对保存的每个BN层的数值进行曲线可视化

from functools import partial
import pickle
import torch
import matplotlib.pyplot as plt

pth_path = 'checkpoint.pth'

pickle.load = partial(pickle.load, encoding="latin1")
pickle.Unpickler = partial(pickle.Unpickler, encoding="latin1")
pretrained_dict = torch.load(pth_path, map_location=lambda storage, loc: storage, pickle_module=pickle)
pretrained_dict = pretrained_dict['state_dict']

means = []
for name, param in pretrained_dict.items():
 print(name)
 if 'running_mean' in name:
  means.append(mean.numpy())

layers = [i for i in range(len(means))]

plt.plot(layers, means, color='blue')
plt.legend()
plt.xticks(layers)
plt.xlabel('layers')
plt.show()

补充知识：关于pytorch中BN层（具体实现）的一些小细节

最近在做目标检测，需要把训好的模型放到嵌入式设备上跑前向，因此得把各种层的实现都用C手撸一遍，，，此为背景。

其他层没什么好说的，但是BN层这有个小坑。pytorch在打印网络参数的时候，只打出weight和bias这两个参数。咦，说好的BN层有四个参数running_mean、running_var 、gamma 、beta的呢？一开始我以为是pytorch把BN层的计算简化成weight * X + bias，但马上反应过来应该没这么简单，因为pytorch中只有可学习的参数才称为parameter。上网找了一些资料但都没有说到这么细的，毕竟大部分用户使用时只要模型能跑起来就行了，，，于是开始看BN层有哪些属性，果然发现了熟悉的running_mean和running_var，原来pytorch的BN层实现并没有不同。这里吐个槽：为啥要把gamma和beta改叫weight、bias啊，很有迷惑性的好不好，，，

扯了这么多，干脆捋一遍pytorch里BN层的具体实现过程，帮自己理清思路，也可以给大家提供参考。再吐槽一下，在网上搜“pytorch bn层”出来的全是关于这一层怎么用的、初始化时要输入哪些参数，没找到一个pytorch中BN层是怎么实现的，，，

众所周知，BN层的输出Y与输入X之间的关系是：Y = (X - running_mean) / sqrt(running_var + eps) * gamma + beta，此不赘言。其中gamma、beta为可学习参数（在pytorch中分别改叫weight和bias），训练时通过反向传播更新；而running_mean、running_var则是在前向时先由X计算出mean和var，再由mean和var以动量momentum来更新running_mean和running_var。所以在训练阶段，running_mean和running_var在每次前向时更新一次；在测试阶段，则通过net.eval()固定该BN层的running_mean和running_var，此时这两个值即为训练阶段最后一次前向时确定的值，并在整个测试阶段保持不变。

以上这篇可视化pytorch 模型中不同BN层的running mean曲线实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持。

可视化,pytorch,BN层,running,mean

标签：

可视化,pytorch,BN层,running,mean

神剑山庄资源网 Design By www.hcban.com

神剑山庄资源网 免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com

神剑山庄资源网 Design By www.hcban.com

评论“可视化pytorch 模型中不同BN层的running mean曲线实例”

暂无可视化pytorch 模型中不同BN层的running mean曲线实例的评论...

《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线

暴雪近日发布了《魔兽世界》10.2.6 更新内容，新游玩模式《强袭风暴》即将于3月21 日在亚服上线，届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。

艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕，并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时，他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中，玩家将会进入一个全新的海盗主题大逃杀式限时活动，其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场，作为一个独立于主游戏之外的活动，玩家可以用大逃杀的风格来体验《魔兽世界》，不分职业、不分装备（除了你在赛局中捡到的），光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式，玩家在加入海盗主题的预赛大厅区域前，可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹，《巨龙崛起》和《魔兽世界：巫妖王之怒经典版》的玩家都可以获得奖励。

更新日志

2024年09月29日

可视化pytorch 模型中不同BN层的running mean曲线实例

可视化,pytorch,BN层,running,mean

卸载tensorflow-cpu重装tensorflow-gpu操作

python为什么会环境变量设置不成功

评论“可视化pytorch 模型中不同BN层的running mean曲线实例”

《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线

更新日志

友情链接