1回答
我正在实现一个反向传播的神经网络。权值初始化为(-0.5，0.5)。然而，在第一次发送输入并进行误差和传播后，权重增加到1000左右，有时甚至增加到2000。训练数据集有40,000个条目，它们按照z-分数进行标准化.在看到如此高的数字之后，我怀疑我的实现，但是，在第一次传播时，学习速率设置为1，如果每个条目有大约(输出*错误)=0.25(这是合理的)，那么权重变化大约1000似乎是有道理的。不管怎么说，神经网络中的权重应该这么高吗？
谢谢
浏览 0提问于2019-03-08得票数 1
1回答
我参加了一些机器学习的在线课程，总的来说，建议是为一个神经网络选择随机权重，以确保你的神经元不会都学习相同的东西，打破对称性。这些情况对零初始化安全吗？或者，我们是否也可以在这些情况下使用随机初始化，以保持一致性？
浏览 0提问于2018-04-29得票数 7
1回答
我使用神经网络对数据进行分类，但是对于如何对预处理步骤进行排序有一些问题。我有太多的数据为我的硬件(不适合内存/太慢)，所以我使用PCA来减少尺寸。一般来说，神经网络更喜欢标准化的
浏览 0提问于2020-09-15得票数 0
回答已采纳
1回答
神经网络训练方法
、、、、
我最近一直在研究神经网络。我会解释我的目标:我试图教怪物行走，站立，基本上执行“奖励”它们的动作(最大化健身功能)。神经网络接收传感器输入，并输出肌肉活动。问题归结为训练神经元的权重和偏差。1)我创建了一个具有使用双曲正切传递函数的神经元的神经网络。
2)创建一个随机的“染色体”群体，每个染色体包含一个双倍数组作为基因(神经网络中的权重和偏差)，阵列的长度是神经网络中的权重和偏差的数量。这些基因有一个下限和一个上限，通常是-2,2，其中它们的随机值是在
浏览 1提问于2015-04-07得票数 0
1回答
反向传播误差导数
、、
我正在学习用于训练神经网络的反向传播算法。这有点道理，但有一点我还是不明白。这似乎是对的，但是为什么梯度没有标准化呢？增量向量的长度与梯度向量的长度成正比背后的原理是什么？
浏览 1提问于2016-02-01得票数 1
3回答
假设您想要训练一个神经网络(NN)，例如使用keras。建议您在培训之前执行数据的规范化或标准化，因此，例如，使用标准化：然后，进行训练(model.fit中的keras)，并将损失函数降到最低它是一个有一个输入，一个输出的神经网络。我标准化了输入值和期望值，所以神经网络以标准化的方式学习权重和偏差。但是，在predict之后，我得到的是一个标准化的值数
浏览 2提问于2016-06-02得票数 6
回答已采纳
1回答
我使用的是的卷积神经网络(CNN)，名为make_unet。它的工作和代码能够与CNN一起运行。但我知道，在深度学习中，你必须初始化权重来优化神经网络。Keras中的清楚地表明使用kernel_initializer进行权重初始化。但是，我在我正在使用的make_unet函数中没有看到任何kernel_initializer。
浏览 4提问于2018-01-26得票数 4
回答已采纳
我想初始化深度神经网络的迭代和性能改进的权重。那么，初始化权重的h2o.deeplearning中的参数代码是什么？如何使用它在-1和+1之间进行初始化？
请帮帮我！
浏览 0提问于2017-08-16得票数 1
2回答
虽然所有东西(数据和参数)都是相同的，而且我手动将初始权重设置为相同的值(0)，但我在两个程序中得到了不同的权重。有趣的是，连续运行每个程序并不会改变独立的结果。我调试和检查的是：2)神经网络参数4)类标签(输出节点)
这些都是一样的。我还应该检查什么？
浏览 2提问于2009-11-29得票数 1
回答已采纳
1回答
考虑一个隐层神经网络，具有RELU激活。在神经网络中，通常的做法是将权重标准化，使其分布为$\mathcal{N}(0,1/sqrt(d))$，其中$d$是数据的维数。问题是标准化输入数据的最佳实践是什么。主要关注的是，RELU对负值的梯度为零，而学习将停止，从而产生“死神经元”。我也知道，偏差是用来推送负值的，但是我看到的对偏差的一个常见的初始化是零。
浏览 3提问于2017-04-20得票数 0
1回答
我想要确定我创建的神经网络的初始权重。目前，我已经初始化了权重，如下所示。 有没有一种方法可以初始化一组固定的随机权重？因此，每次运行代码时，初始化的数组都是相同的。
浏览 32提问于2021-02-04得票数 0
回答已采纳
1回答
我基于下面的代码构建了一个CNN模型：我知道在深度学习中，你必须初始化权重来优化神经网络。Keras中的这个站点清楚地表明使用kernel_initializer进行权重初始化。我想在code.Anyone中找到初始权重，谁可以提供一些洞察力将不胜感激。
浏览 13提问于2020-03-10得票数 0
回答已采纳
我已经看到神经网络的权值被初始化为随机数，所以我很好奇为什么逻辑回归的权重被初始化为零？
浏览 0提问于2017-09-10得票数 13
回答已采纳
1回答
在学习TensorFlow的过程中，我对神经网络初始化感到困惑。
在TensorFlow 教程中，它们使用随机初始化，但不多次使用。
浏览 3提问于2017-05-30得票数 0
在GitHub上的一个模型中，我对神经网络的工作相对比较陌生。我注意到，在将权重和偏差初始化为零之后，在偏差变量中添加了一个单位矩阵。如果是，那么将偏差初始化为单位矩阵的目的是什么？
链接到存储库：论文链接：
浏览 0提问于2018-10-29得票数 1
我对咖啡和深度学习很陌生，所以请容忍我缺乏经验和天真的问题。现在，我想使用GoogleNet数据集来训练FER2013 (它由人脸组成，其目的是识别人脸属于7类中的一种)。但是，数据不是图像格式的，而不是48x48=2304值的数组，每个值在0到255之间。因此，为了创建提供Caffe所需的lmdb文件，我编写了下面的Python脚本，将数组转换为真实的图像。from PIL import Imageimport itertools
with open('fer2013.csv', 'rb') a
浏览 2提问于2017-04-22得票数 2
回答已采纳
在经过训练的神经网络中，权重分布将接近于零。所以，对我来说，把所有的权重都初始化为零是有意义的。然而，有一些方法，如-1到1的随机赋值和Nguyen-Widrow，它们的性能优于零初始化。
浏览 0提问于2015-08-05得票数 2
回答已采纳
1回答
在对数据进行预处理时，我对所有的特征进行标准化，然后根据它们生成多项式特征。我应该先标准化我的数据还是先从原始特征生成多项式？
浏览 0提问于2017-07-18得票数 6
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
