在神经网络中,我们可以使用模函数f(x)作为激活函数吗?模函数是单调和连续的(就像Relu一样),除了输入数据域中的有限点外。模函数f(x)指的是
\begin{equation} f(x) = \begin{bmatrix} \vdots \\ x+a \ \ \ \if \ -a < x < 0 \\ x \ \ \ \ \ \ \ \if\ \ \ \ 0 < x < a\\ x-a \ \ \ \if \ \ \ \ a < x < 2a \\ \vdots \\ \end{bmatrix} \end{equation},其中a是一个正数,为简单起见,可以将其视为超参数。
我希望我的输出取0,1和我之间的值,从一个高斯分布(,\sigma^2)中采样输出,其中,\sigma^2是神经网络的输出。因此,输出可能超出0,1范围。我不想做剪裁,因为它会给我的网络带来更多的问题
我是新来的乳胶,很抱歉没有使用一个良好的成型。
发布于 2020-04-25 05:33:24
模函数不是单调的。即使它有一个正导数,除非是在不可微的点上。一般不建议使用非凸激活函数.因此,最好是避免它或改变问题的结构。
https://datascience.stackexchange.com/questions/61287
复制相似问题