我想知道，如果我将BP神经网络的权重初始化为零，那么误差函数是什么类型(鞍点，局部最大值，局部最小值，..)我想从数学的角度来推断
浏览 0提问于2017-11-23得票数 1
1回答
我的问题是当隐单元数大于1时，深度神经网络的正向和反向传播。
我知道，如果我有一个隐藏的层，我必须做什么。对于单个隐藏层，如果输入数据X_train有n样本，具有特征的d数(即X_train是(n, d)维数矩阵，y_train是(n,1)维向量)，而如果第一个隐藏层中有隐藏单元的h1数，则使用Z_h1 = (X_train * w_h1) + b_h1 (其中w_h1是具有随机数项的权重矩阵，其形状<代码>d10</code>和<code>D11<//代码>是形状<代码>D12<//代码>的偏差单位。我使用乙状结肠激活A
浏览 0提问于2019-02-11得票数 3
回答已采纳
1回答
神经网络训练算法
、、
当我第一次读到神经网络时，我了解到反向传播是用来训练神经网络的算法。我感兴趣的是是否还有其他的选择(或者更好？)呼叫BP。
神经网络中使用的其他训练算法是什么？BP是最好的吗?这就是为什么几乎每个人都用它来训练神经网络模型吗？
浏览 0提问于2018-11-03得票数 1
回答已采纳
5回答
我在通过神经网络进行机器学习的一些概念上遇到了问题。其中之一就是。在权重更新方程中，
delta_w = a*(t - y)*g'(h)*x
t是“目标输出”，在监督学习的情况下，它将是您的类标签或其他东西。但是，无监督学习的“目标输出”是什么呢？
有没有人可以提供一个例子，说明如何在无监督学习中使用BP，特别是在分类聚类中？
提前谢谢。
浏览 7提问于2013-03-20得票数 11
回答已采纳
我刚刚开始为神经网络编程。我目前正在研究反向传播(BP)神经网络的工作原理。虽然在BP网络中训练的算法非常简单，但我找不到任何关于该算法为什么有效的文本。更具体地说，我正在寻找一些数学推理，以证明在神经网络中使用sigmoid函数是合理的，以及是什么使它们能够模拟几乎任何抛向它们的数据分布。
谢谢!
浏览 3提问于2012-07-27得票数 22
回答已采纳
1回答
我正在读一本关于神经网络的书，因为我对人工智能很感兴趣。但我在书中看到了一个神经网络的例子。他们想向你展示神经网络的有用性。他们想让神经元识别上面框中所示的模式。然后他们说，当阈值为1,5，且输入与上框相同时，输出仅为1，因此: i1 =1，i2 = 0，i3 =1，i4 = 0。
但是假设方框中的所有数字都是1，那么输出也是2。然后，当该模式与上面的框不相同时，它将返回true。我对神经网络很陌生。
浏览 3提问于2016-01-24得票数 0
回答已采纳
GPL要求提供所有源代码，但我不确定经过训练的神经网络模型如何与GPL交互，因为不清楚这些模型是否算为源代码。
若要讨论具体示例，请考虑以下示例：
假设您正在开发一个移动应用程序。由于应用程序包含GPL许可代码，因此移动应用程序也将在GPL下获得许可。移动应用程序还使用了预先训练过的神经网络模型。(为了简单起见，假设您使用了麻省理工学院授权的代码，在移动应用程序中没有使用它来生成神经网络模型。)
这个预先训练过的神经网络模型算得上源代码吗？如果是这样的话，该模型是否必须在GPL下获得许可？
在此重新提问：https://opensource.stackexchange.com/question
浏览 0提问于2018-06-14得票数 5
我试图通过传递损失来使用tf.gradient计算梯度，并使用梯度更新权重。我观察到当权重矩阵维数较大时，梯度为零。这可能是什么原因呢？
我看到代码中没有错误。我得到了权重矩阵和输入向量大小较小的非零梯度。通常，对于1*100的输入向量大小和100x50的权重，fp值将为1 x 50。在BP期间，ip将为1 x 50，权重将为50 x 100。BP向量将是1 x 100。
损失是前向传播(FP)和后向传播(BP)值的差值之和。FP值是输入向量(IP) - sigmoid(IP X weight)和BP值- sigmoid(FP x weight.Transpose)。
var_grad = t
浏览 2提问于2017-05-29得票数 0
我读了很多关于Jetson Nano和Google Coral Devboard的文章，在我读过的大多数文档和论文中，推断和部署都是使用预先构建的卷积神经网络来完成的，例如AlexNet，Inception，MobileNet和其他用于图像分类的神经网络。据我所知，这些微型计算机需要将神经网络转换为tensorflow模型或任何它们接受的框架，以执行模型的推断。 我想知道的是:对于Jetson Nano和Google Coral Devboard，我是否可以拥有与文档中举例说明的卷积神经网络无关的卷积神经网络，并将其部署到这些板上？
浏览 20提问于2020-12-24得票数 1
回答已采纳
1回答
我正在用python写一个进化研究的程序。我的程序的输出是一堆神经网络(固定大小/结构的图)。
对于所有的意图和目的，神经网络可以简单地由按某种固定顺序的连接权重数组来表示。
我希望能够以某种方式直观地表示神经网络，以显示我的程序的输出是否收敛到类似类型的网络或许多不同的集群中。
例如，假设有50个数组，如下所示：
[.5, -.25, 2.31, -3.2, 1, .88 ...etc ]
我想以某种方式绘制这些，所以它是视觉上的证据，哪些数组彼此相似。
谢谢
浏览 1提问于2014-04-15得票数 1
2回答
我在Matlab中训练了一个三层(输入、隐藏和输出)前馈神经网络.经过训练，我想用一个输入测试向量来模拟训练后的网络，得到神经元的响应--隐层(而不是最终输出层)。我该怎么做呢？
另外，在训练神经网络之后，是否有可能“切断”最终输出层，并将当前隐藏层作为新的输出层(以备将来使用)？
额外信息:我正在构建一个。
浏览 2提问于2012-03-03得票数 3
我已经使用Matlab神经网络工具箱训练了一个神经网络，特别是使用命令nntool。检测基本上是针对交通标志的，我使用了一个包含90张交通图像(禁止进入、禁止右转和停止标志)的数据库，其中30张图像的大小为8*8像素，其中禁止进入的标志为正数。我的输入是64*90，目标是1*90。现在，我需要在Python中使用这个神经网络进行实时识别。我需要什么参数？我对神经网络完全陌生。
浏览 19提问于2016-08-19得票数 0
回答已采纳
每个神经网络都通过反向传播来更新其权重。假设一个神经网络模型堆叠在另一个神经网络模型上，在这种体系结构中，反向传播如何用于权重更新。wrt单神经网络模型在权重更新方面有什么不同？
浏览 3提问于2018-11-10得票数 0
1回答
我正在阅读这篇题为“通过深度神经网络对室内行为进行分类”的论文。我偶然发现了这样的说法：
通过这种机制，可以学习到非常复杂的功能，结合这些模块:生成的网络通常对微小的细节非常敏感，对大的无关变化不敏感。
我读过很多关于深层神经网络的文章。然而，我可能忽略了深层神经网络对大而不相关的特征不敏感背后的逻辑。
浏览 0提问于2017-05-09得票数 1
📷
我的问题是：
假设我们有一个3乘1的神经网络，类似于图像中的神经网络(输入层有3个神经元，输出层有一个神经元，没有隐藏层)，当给神经网络输入一个训练样本(即feature1、feature2、feature3输入)时，我发现不存在计算正向和反向传播输出的问题，而且我知道我的初始权重是如何优化的，我发现的问题是，每次给神经网络多个训练输入时，我不知道初始权值是如何优化的。
例如，我们有3×3矩阵的训练输入。
[[195, 90, 41],
[140, 50, 30],
[180, 85, 43]]
第一列是高度，第二列是重量，第三列是鞋的大小，我们用第一行、第二行和第三排给NN。我们知道，在
浏览 0提问于2018-07-07得票数 3
1回答
我试图用Java编写一个神经网络
2个输入神经元，1个隐藏层，包含3个神经元和1个输出神经元，
它应该能够解决异或函数。我理解神经元(感知器)是如何工作的，以及它们是如何学习的，但我不明白神经网络是如何处理输出的，也不明白神经元如何“相互交流”。
例如：
我有一个神经网络：(忽略这些值)
这个数据集是：
input = {{1, 0},{1, 1},{0, 1},{0, 0}}
ideal = {1, 0, 1, 0}
我用什么价值观训练每个人的特定神经元？还是让神经网络学习？
浏览 4提问于2017-05-02得票数 1
回答已采纳
1回答
在Matlab中，我运行了神经网络工具箱，得到了标题如下的权重：
b1 = {...};
IW1_1 = {...};
b2 = {...};
LW2_2 = {...};
这些权重指的是神经网络的哪个部分？我假设b1和b2是偏差，IW1_1和LW2_2是权重，但是IW1_1和LW2_2是网络的哪一部分呢？
浏览 0提问于2015-08-30得票数 0
我是Tensorflow神经网络的初学者，我正在学习如何训练顺序神经网络模型的在线指南。当计算测试数据的均方误差时，每次编译模型时，得到的结果都不一样。有时我的MSE大约是27到28，而其他时候我得到的MSE是20,000。每次重新编译模型时，我都不会更改任何变量。为什么会发生这种情况？谢谢你的回应。
浏览 2提问于2020-07-05得票数 2
回答已采纳
我使用的是Encog-core-cs (.net版本)的神经网络。
我想知道有关神经网络中边的性能和权重的度量。请给我引路。
我们可以报告的性能指标是什么？关于训练和验证误差，它们是如何计算的？还有其他的性能指标吗？
什么是终止措施？
如何在网络中找到连接的权重？
如果是出厂版本：
var model=new EncogModel(data);
model.selectMethod(data,MLMethodFactory.TypeFeedforward);
在进阶时谢谢。
浏览 3提问于2016-05-01得票数 0
我看着ANN使用反向传播，我做了一个有2个输入，2个隐藏神经元和2个输出的神经网络。所有的教程都有一个或两个输出，或者有非常复杂的代码，我不知道如何调整i输入，j隐藏和k -output神经网络的权重。
浏览 2提问于2015-08-12得票数 0
我正在使用神经网络来识别一个系统。因为我假设有延迟的输入，所以我想包括一些对NN具有不同延迟的数据。MATLAB神经网络工具箱有内置的函数来做这件事吗？
谢谢
浏览 0提问于2012-03-09得票数 0
回答已采纳
3回答
我正在做一项任务，我需要进化我的神经网络的权重。我的神经网络是工作的，但我不确定如何以一种能让我获得好结果的方式来进化我的网络。
我知道我的AI老师说我需要使用sigmoid函数并将我的权重加起来*输入，但我不太确定剩下的部分。
谢谢。
编辑:我需要使用GA来训练权重。抱歉，我没说清楚。
浏览 1提问于2012-03-03得票数 2
回答已采纳
当我在Keras中运行一个神经网络(没有BatchNormalization)时，我了解get_weights()函数是如何提供神经网络的权重和偏差的。然而，对于BatchNorm，它会产生4个额外的参数，我假设Gamma，Beta，Mean&STD。
当我保存这些值时，我尝试手动复制一个简单的NN，并且无法让它们生成正确的输出。有人知道这些价值观是如何运作的吗？
浏览 2提问于2019-07-18得票数 4
回答已采纳
我试图在r的神经网络包的神经网络()函数中分配起始权重。
set.seed(111)
neuralModel <- neuralnet(medv ~ crim+zn, hidden = 1, startweights = c(8,5), train_data)
但输出显示
警告信息:一些权重是随机生成的，因为“startweights”没有包含足够的值。
并给隐层神经元分配随机权值。我的训练数据集有500行。我应该分配500个权重吗？
浏览 4提问于2017-05-22得票数 1
3回答
假设我有一个定义好的神经网络的训练样本(带有相应的训练标签)(神经网络的结构对于回答这个问题并不重要)。让我们把神经网络称为“模型”。
为了不创建任何夫人，让我们说，我介绍了最初的权重和偏差的‘模型’。
实验1。
我用训练样本和训练标签来训练40个时代的“模型”。经过训练，神经网络将对整个神经网络有一组特定的权重和偏差，我们称之为WB_Final_experiment1。
实验2
我用训练样本和训练标签来训练20个时代的“模型”。经过训练，神经网络将对整个神经网络有一组特定的权重和偏差，我们称之为WB_Intermediate。
现在，我在“模型”中介绍了WB_Intermediate，并对另
浏览 13提问于2020-03-20得票数 3
回答已采纳
2回答
多标签分类神经网络，任意一个标签
、、、、
我试图建立一个神经网络，其中假设我有3个输出标签(A，B，C)。
现在我的数据包括两个标签可以是1的行，像A和B是1，C是0。现在我想训练我的神经网络，使它能够预测A或B。我不希望它被训练成A和B都有很高的概率(就像多标号问题)，我只想要其中的一个。
这样做的原因是，A和B中有1的行更像是不关心预测A或B都是正确的行。因此，我不希望神经网络在试图同时预测A和B的情况下找到极小值。
有可能像这样训练神经网络吗？
浏览 1提问于2018-04-12得票数 0
回答已采纳
3回答
目前，我正试图理解word2vec神经网络学习算法背后的体系结构，将单词表示为基于上下文的向量。
在阅读了之后，我发现了他定义的投影层。尽管这个术语在提到word2vec时被广泛使用，但我仍然找不到它在神经网络环境中的确切定义。
我的问题是，在神经网络中，什么是投影层？它是否被命名为一个隐层，其链接到以前的节点具有相同的权重？它的单位实际上有某种激活功能吗？
在中也可以找到更广泛地提到问题的另一个资源，它也指页面67周围的投影层。
浏览 5提问于2016-06-17得票数 59
回答已采纳
1回答
我一直在尝试在C++中使用神经网络来实现一个可以玩和学习toe的网络。我遇到了一个问题，我一直在想，一旦你结束了这个计划/培训，你如何保持一个拥有它的“记忆”或学习技能的网络呢？目前，它学习，因为你继续播放，但一旦我关闭程序，并重新启动它。又犯傻了。我如何解决这个问题，以及其他大型神经网络如何解决这个问题？
浏览 3提问于2015-12-18得票数 1
回答已采纳
例如，有一个3乘3的图像，
具有两个2x2滤波器的卷积神经网络将图像进行卷积。
最后，输出维数为2x2x2。
，我能把上面的过程看作是下面的步骤吗？
由于使用了2x2滤波器，在滑过整个图像后，我得到了4幅小图像。
并利用这4幅小图像作为一个完全连接的神经网络的输入。
最后，我还可以得到8个输出。
我真的不知道CNN的反向传播，所以我试图从经典的完全连接的神经网络中理解它。
通过输入一幅小图像，就可以在完全连接的神经网络中更新一次权值，这与在CNN中更新滤波器的权重是一样的吗?。
我想对了吗？
浏览 1提问于2017-01-29得票数 0
回答已采纳
1回答
我们必须为神经网络缩放输入数据吗？它对神经网络的最终解有何影响？
我试着找到一些可靠的消息来源。“统计学习的元素”一书(第400页)说，它将有助于选择合理的初始随机权重。
不管我们使用的初始随机权重如何，最终的权重不都是确定的吗？
谢谢。
浏览 3提问于2013-06-11得票数 14
回答已采纳
为什么优化器被使用在不是神经网络的东西上？
在神经类型的传输结构中，图像被更新而不是神经网络的权重。
在样式编码器(在潜在空间中查找图像)中，隐空间被更新，而不是神经网络的权值。
为什么它在这些情况下有效，因为更新的不是神经网络的权重？
浏览 0提问于2020-11-20得票数 1
1回答
我很难构建一个好的神经网络教学算法，因为有一些人工神经网络。首先，我的目标是教授nn xor函数，我使用sigmoid作为激活函数，以及简单的梯度下降。2.将此错误传播到有关权重的隐藏层3.更新突触上的权重
所以我的问题是: 1.偏差是否也应该更新，如果是，如何更新？目前我随机选择偏置0.5;1? 2。在步骤2? 3中可以更新权重。我的方法假设nn中的第一层是带有神经元的输入层。那么，这一层中的哪些值必须更新？只有连接输入层和第一个隐藏层的突触上的权重？
浏览 2提问于2017-10-03得票数 0
当神经网络在很长一段时间内在大量数据集上进行训练时，请考虑senario。在将神经网络临时保存到磁盘以供稍后训练之前调用FinishTraining()方法是否正确？或者我们应该只调用一次FinishTraining()，在所有训练都在最后完成之后？ Encog机器学习框架可以选择将神经网络保存到磁盘，然后使用Encog中的TriningContinuation类继续训练。在将神经网络保存到磁盘之前调用FinishTraining()方法是否会以任何方式对神经网络的训练产生负面影响？
浏览 21提问于2019-06-24得票数 1
回答已采纳
1回答
有大量输入的神经网络会导致我的网络问题，比如
神经网络由于输出和太大，并且在进行反向传播时，梯度和太高，导致学习速度太快，因此神经网络的前向计算往往会使输出达到1.0。
神经网络在各个层次上都将tanh作为一种主动函数。经过大量思考，我想出了以下解决方案：
减小随机权重值( WeightRandom / PreviousLayerNeuronCount )
或
计算输出或梯度之和后，将和除以“输出和的前一层神经元数”和“下一层神经元数表示梯度和”，然后将和传递到激活/导数函数中。
我对我想出的解决方案感到不舒服。
解决方案1不能完全解决问题。梯度或输出和达到高值
浏览 2提问于2016-05-24得票数 0
1回答
我在R中使用nnet软件包训练人工神经网络。有些人说训练集中的每一种情况都分配了权重，而有些人则说没有。重量等于no。神经网络结构中的连接。我不明白这点。有人能帮我吗。
我看了nnet的R代码。
在下面的nnet代码中，权重和Wts之间有什么区别？
nnet(x, y, weights, size, Wts, mask, linout = FALSE, entropy = FALSE, softmax = FALSE, censored = FALSE, skip = FALSE, rang = 0.7, decay = 0, maxit = 100, Hess = FALSE, trace
浏览 0提问于2017-03-16得票数 0
1回答
我从机器学习开始，目前我正在努力理解人工神经网络。在多层感知器中，最大限度地降低了代价函数(例如交叉熵)，但我必须将所有的训练数据输入到神经网络中。这不是一个典型的人类学习过程。相反，随着时间的推移，经验会随着时间的推移而发生变化，而预测可能会因新的信息而发生变化。换句话说，机器/网络必须通过改进其预测来响应不断变化的环境。我有两个问题：
使用贝叶斯技术进行优化难道不是更自然的吗?下一个培训示例会改进经验(我的神经网络将通过提供新的数据来随着时间的推移而改善)？
一个神经网络从一开始就需要所有的训练数据吗?还是我可以通过提供一个新的信息(例如在一段时间后)而不引用以前的训练数据来不断地改进它(
浏览 0提问于2017-05-04得票数 -1
我正在做一个使用DWT和神经网络的CBIR项目。我已经提取了颜色和纹理特征，并训练了提取的特征的归一化值。利用matlab中的神经网络工具实现了图像分类。所有这些都成功地完成了。
我的问题是--有没有办法自动将训练好的图像值插入到ms access数据库中？
谢谢。
浏览 2提问于2012-07-29得票数 2
回答已采纳
1回答
神经网络熵的计算
、、
我想要计算神经网络中包含的信息。我也希望计算出任何神经网络在一定数量的比特中包含的最大信息。这两种度量应该是可比较的(就像我可以比较我目前的神经网络是否达到了最大值，还是小于最大值，以及有多少)。
信息是相对的，所以我定义它相对于真实的，一种神经网络试图估计的数据的先验分布。
我遇到了Von熵，它可以应用于一个矩阵，但是由于它不是加性的，所以我不能将它应用于一系列权重矩阵(假设权重矩阵编码一个神经网络的所有信息)。
我发现了另外三篇论文深神经网络的熵约束降雨，深度神经网络模型中的熵与互信息和深度学习与信息瓶颈原则。第二种方法包含了一个指向这 github的链接，但是这种方法需要知道激活函数和权
浏览 0提问于2020-07-16得票数 5
我在Matlab中训练了一个前馈神经网络。现在我必须用C语言实现这个神经网络(或者使用数学方程在Matlab中模拟模型，而不使用直接函数)。我该怎么做？我知道我必须考虑权重，偏差和激活函数。还需要什么？
浏览 1提问于2016-01-08得票数 0
2回答
我新来的人工智能世界，并尝试了一些实践。看来我需要一些第三方的经验。
假设我需要消除图像缺陷(实际上任务更棘手)。我希望经过训练的神经网络能够对缺陷区域进行插值。
基于这些原因，我尝试创建简单的神经网络。它有输入:灰度图像与差(72*54)和相同的图像，没有缺陷。隐层有2*72*54个神经元。
主要代码段
cv::Ptr<cv::ml::ANN_MLP> ann = cv::ml::ANN_MLP::create();
int inputsCount = imageSizes.width * imageSizes.height;
std::vector<i
浏览 3提问于2017-06-19得票数 2
1回答
我试图用神经网络作为函数逼近器来实现用于估计q*的片段式半梯度Sarsa。我的问题是: q(S，A，w)中的权向量w是指神经网络中的权值吗？
具体算法见：第197/198页。
如果是:那么如何处理多层神经网络中存在多重权向量的事实？
如果不是，我将如何在算法中使用它？我的建议是将其附加到状态和动作a中，并将其插入到神经网络中，以得到与所选动作的状态近似。这是正确的吗？
权向量w的维数是如何确定的？
提前感谢！
浏览 0提问于2018-03-28得票数 2
回答已采纳
1回答
我想知道，当人们说预训练的bert模型时，是否只训练了最终的分类神经网络 或 通过反向传播和分类神经网络，transformer内部是否有任何更新
浏览 121提问于2021-02-04得票数 1
回答已采纳
2回答
神经网络的每一层都需要权值初始化，还是仅仅是第一层？第一层是否输入到下一层并初始化自己？我的直觉是，每个层都需要自己的初始化，但我发现很难明白这一点。谢谢!
浏览 0提问于2019-02-13得票数 3
回答已采纳
2回答
新图像尺寸的传递学习
、、、
转移学习:将经过训练的神经网络用于新的分类任务。
当我们想要用卷积神经网络进行传递学习时，我们不需要使用与训练所用的图像大小相同的图像大小。但如果我们改变输入的大小，我们将不得不重新训练完全连接的层。见这篇文章是关于堆栈溢出的。
我不明白为什么改变输入形状不会影响卷积层的重量和为什么它会影响完全连接的层权重。
如果我的问题听不懂，请告诉我。
浏览 0提问于2019-08-16得票数 1
回答已采纳
1回答
神经网络的问题
、、
我在使用神经网络时遇到了一些问题。我对隐藏层使用非线性激活函数，对输出层使用线性函数。在隐藏层中增加更多的神经元应该会增加神经网络的能力，使其更适合训练数据/在训练数据上具有更少的误差。
然而，我看到了一个不同的现象。即使在训练集上，添加更多的神经元也会降低神经网络的准确性。
这是平均绝对误差随着神经元数量的增加而变化的图表。训练数据的准确性正在下降。这可能是什么原因呢？
是不是我使用的matlab的nntool将数据随机分成训练集、测试集和验证集，用于检查泛化而不是使用交叉验证。
此外，我可以看到许多-ve输出值添加神经元，而我的目标应该是积极的。这会是另一个问题吗？
我无法在这里解释
浏览 3提问于2013-09-05得票数 1
4回答
现在我正在学习卷积神经网络。
为什么CNN必须有固定的输入大小？
我知道可以克服这个问题(用完全卷积的神经网络等)，而且我也知道，这是由于在网络的末尾放置了完全连接的层。
但是为什么呢？我无法理解完全连接层的存在意味着什么，以及为什么我们被迫有一个固定的输入大小。
浏览 0提问于2019-11-30得票数 9
回答已采纳
1回答
我想初始化我的PyTorch神经网络中线性层的权重和偏差的值。下面是我的神经网络的一些代码：
class NeuralNet(nn.Module):
def __init__(self, weights, bias):
super(NeuralNet, self).__init__()
self.weights = weights
self.bias = bias
self.nn = nn.Sequential(
n
浏览 3提问于2022-08-03得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
