tensorflow 查看梯度方式

脚本专栏 2024/10/2 佚名

2 0 1

神剑山庄资源网 Design By www.hcban.com

1. 为什么要查看梯度

对于初学者来说网络经常不收敛，loss很奇怪（就是不收敛），所以怀疑是反向传播中梯度的问题

（1）求导之后的数（的绝对值）越来越小（趋近于0），这就是梯度消失

（2）求导之后的数（的绝对值）越来越大（特别大，发散），这就是梯度爆炸

所以说呢，当loss不正常时，可以看看梯度是否处于爆炸，或者是消失了，梯度爆炸的话，网络中的W也会很大，人工控制一下（初始化的时候弄小点等等肯定还有其它方法，只是我不知道，知道的大神也可以稍微告诉我一下~~），要是梯度消失，可以试着用用resnet,densenet之类的

2. tensorflow中如何查看梯度

tf.gradients(y,x)这里的就是y对于x的导数（dy/dx）,x和y一定要有关联哦~

直接tf.gradients(y_, weight1)就可以了~

以上这篇tensorflow 查看梯度方式就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持。

tensorflow,查看,梯度

标签：

神剑山庄资源网 Design By www.hcban.com

神剑山庄资源网 免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com

神剑山庄资源网 Design By www.hcban.com

评论“tensorflow 查看梯度方式”

暂无tensorflow 查看梯度方式的评论...

2024年10月02日