死漏ReLU
死漏ReLU
提问于 2020-11-26 11:38:59
我正试图训练一个深层次的神经网络，但我有一个垂死的ReLU问题。我正在使用leaky，但仍然有相同的问题。漏水不是不应该有这样的问题吗？
回答 1
Data Science用户
发布于 2020-11-26 15:33:01
实际上，除非负输入的斜率很小，否则泄漏的ReLU不可能出现死亡的问题。试着用0.2来表示负部分的斜率。
另一方面，我相信您的问题并不是要停止ReLU，因为如果发生这种情况，几乎所有的激活都将输出为零。我的回答基本上是告诉你，你的输出可能很小，而且变化很慢。
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://datascience.stackexchange.com/questions/85978
复制相关文章
相似问题
腾讯云开发者
