1回答
我发现了以下七个分类器的列表：
线性分类器: Logistic回归，朴素贝叶斯分类器
最近邻
支持向量机
决策树
升华树
随机林
神经网络
什么是遗传算法，为什么它们不被认为是七个分类器的一部分？
浏览 0提问于2019-10-26得票数 0
回答已采纳
1回答
我已经找了一段时间了，只是找不到任何线索。当人们谈论算法中的迭代时，比如XGBoost或LightGBM，或者Catboost，它们是否意味着要构建多少决策树，即基本学习者？即XGboost m=100意味着该算法将总共建立100个基础学习者，每一个计算和优化都是对先前预测的剩余值进行的。
还是更像是深度学习的一个时代？
浏览 0提问于2019-05-29得票数 5
回答已采纳
我创建了一个具有典型激活函数(-1或1)的简单感知器，它似乎工作得很好。然后我读到了关于sigmoid和它在值之间更平滑转换的用法，但当我使用导数时，我总是得到0.0，这会扰乱计算。sigmoid本身很好，对于较小的数字，它的小数是小数，对于较大的数字，它又是-1或1。那么导数有什么好处？
举个我想说的例子：
double actual (-1 or 1 when using the "old" function)
double AdjustWeight(int input1,input2, expected, actual)
{
double error=expecte
浏览 3提问于2013-04-04得票数 2
回答已采纳
考虑一个简单的一维函数y = x^2，用梯度上升法求出最大值.
如果我们从x-axis的第3点开始：
\frac{\partial f}{\partial x} \biggr\rvert_{x=3} = 2x \biggr\rvert_{x=3} = 6
这意味着我们应该移动的方向是一个6。
梯度上升给出更新规则:x= old_x + learning_rate *梯度
我不明白为什么我们需要用learing_rate乘以gradient。为什么我们不能仅仅使用x = old_x + learning_rate * sign(gradient)。
因为如果我们朝着一个积极的方向迈出了
浏览 0提问于2021-01-16得票数 3
回答已采纳
1回答
我想为我训练过的lightgbm模型的每个样本计算一个置信区间。
如果模型是一个随机森林，那就很容易了，只要把所有的树都取下来，然后计算预测的标准差。
我想知道是否可以用lightgbm来实现类似的想法。特别是：
用所有树木或类似的预测来计算一个升压模型的标准差有意义吗？
这能在科学学习中完成吗？
从训练分位数模型的替代方案中，是否有其他方法来获得预测光照的置信区间？
浏览 0提问于2020-06-18得票数 3
2回答
我必须处理图像分割。其思想是将图像划分为具有相似颜色的像素或可由梯度方程(线性或径向)表示的像素的区域。我发现了许多基于颜色进行分离的算法，但找不到任何处理渐变的算法。有没有人知道这样的算法或者关于如何去实现它的建议。
浏览 1提问于2011-09-25得票数 0
回答已采纳
1回答
我在研究反向传播是如何工作的？我读到，反向传播被用来在每次迭代后用部分导数找到每个神经元的最优权重，并更新神经元的权重。
另一方面，我们有一个叫做“学习速率”的超参数，用来通过计算误差的方向来更新每一次迭代中神经元的权重。
这两种情况看起来是独立工作的，我的意思是，当反向传播算法本身找到最优权重时，我们不需要一个学习速率参数本身。
我的理解正确吗？如果我错了，请纠正我。
浏览 0提问于2020-09-19得票数 0
回答已采纳
在他们的网站上，他们说“梯度提升”，但这里的人们似乎把它与其他“xgboost”算法进行了比较。我想知道它是否是一个真正的极端梯度增强算法。谢谢
浏览 0提问于2018-11-05得票数 0
正如标题中所提到的，我正在使用sklearn中的SelectFromModel为我的随机森林和梯度提升分类模型选择特征。 #feature selection performed on training dataset to prevent overfitting
sel = SelectFromModel(GradientBoostingClassifier(n_estimators=10, learning_rate=0.25,max_depth=1, max_features = 15, random_state=0).fit(X_train_bin, y_train))
sel.fi
浏览 33提问于2021-05-10得票数 0
2回答
对数似然成本函数:均值还是和？
、、、、
在中，为了计算负的日志可能性，他们说：
注:我们使用的是平均值而不是和，这样学习速度就不那么依赖于批次大小了。
这就是他们如何得到负对数可能性的方法：
return -T.mean(T.log(self.p_y_given_x)[T.arange(y.shape[0]), y])
这在许多教科书中是正确的(例如，模式识别和毕晓普的机器学习)，负对数似然是用每个样本误差的和而不是均值来计算的。我还是不明白作者的笔记。每次计算成本函数时，我们是否应该使用平均值而不是和？即使我们不使用批处理？
浏览 5提问于2016-02-27得票数 2
回答已采纳
2回答
我知道神经网络可以使用梯度下降进行训练，我知道它是如何工作的。 最近，我偶然发现了其他训练算法:共轭梯度算法和准牛顿算法。我试图理解它们是如何工作的，但我能得到的唯一好的直觉是它们使用了更高阶的导数。 我的问题如下:我提到的那些替代算法与通过使用损失函数的梯度调整权重的反向传播过程有根本不同吗？如果没有，是否有一种算法可以训练一个与反向传播机制完全不同的神经网络？ 谢谢
浏览 39提问于2019-03-22得票数 6
回答已采纳
我正在阅读这个帖子，在这里我看到了这句话：“交叉熵是用于二进制分类问题的默认损失函数。”
但是它如何使它成为二进制分类的默认且可能最好的损失函数呢？
浏览 0提问于2019-06-07得票数 7
2回答
反向传播和批量训练
、、、
反向传播计算每个模式的每个权重的dW (权重增量)，因此在进行随机训练时如何修改权重很简单。但是，我如何使用它进行批量训练呢？只需在整个训练集上累积dW，然后应用调制，或者还有更多内容？
浏览 2提问于2010-01-26得票数 1
回答已采纳
1回答
我很难理解这个关于德尔塔规则的概念。据我所知，在学习网络的过程中，增量规则用于更新权重。假设我有这两个公式：
第一个公式说的是什么？新的重量应计算为：
learning rate (eta) * gradient of loss function.
这个结果将是新的重量。我说得对吗？
第二个公式令人困惑。上面到底写了什么？两者都应该是增量规则，但两者之间有什么区别呢？请你解释一下，下面的公式是什么？我想是这样的(但我不能完全肯定.)
change weight between neuron ij = learning rate (eta) * (I dont have a
浏览 4提问于2019-12-18得票数 1
我有一个包含1%正类 (1's) 和99%负数 (0's)的数据，并且我正在使用Pyspark中的Logistic回归。我在上讨论了处理不平衡数据集的问题，解决方案是添加一个weightCol，就像它在链接中提供的答案中所说的那样，以便告诉模型将更多的注意力集中在1上，因为那里的数据比较少。
我已经尝试过了，它运行得很好，但是我不知道mllib如何在内部平衡数据。有人有线索吗？我不喜欢和“黑匣子”打交道，我无法理解。
浏览 2提问于2019-05-06得票数 1
1回答
我的同事提到，一个数据科学项目正在使用SGD分类器。
因此，我开始阅读有关GD/SGD的文章，并遇到了一个不错的文章，它使用支持向量机和GD进行文本分类。
在文章末尾，作者提到：
我们从一堆要训练的文件开始。然后，我们将每个文档表示为数字向量，您可以选择将它们分割成n克，然后用TF-下手称这些n克。现在我们有了一个数值表示，我们可以给出程序的训练数据，并使它的猜测每次。根据程序的错误程度，程序根据错误进行调整，以便在下一次使用梯度下降进行更好的预测。它使用支持向量机( SVMs )跟踪学习，并通过在图中“绘制”新的数据点并查看它是在右边还是在决策边界的左边，用SVM模型进行预测。
这篇文章没有
浏览 0提问于2020-02-06得票数 1
我目前正在使用ScikitLearn中的两个类处理一个分类问题，其中有求解器adam和激活relu。为了探索我的分类器是否存在高偏差或高方差，我用Scikitlearns内置函数绘制了学习曲线：
我正在使用一个组-K_折叠交叉验证与8分裂。然而，我发现我的学习曲线在很大程度上取决于分类器的批次大小：
应该是这样的吗？我认为学习曲线是根据独立于任何批次/时代的训练数据来处理准确性分数的吗？对于批处理方法，我真的可以使用这个内置函数吗？如果是，我应该选择哪个批次大小(训练示例的整批或批次size=数或两者之间的某个部分)，以及从中得到什么诊断？或者你通常如何诊断神经网络分类器的偏差/方差问题？
浏览 1提问于2019-03-26得票数 1
回答已采纳
从我的背景来看，我理解有一个学习速率(α)的目的是将梯度的大小(▽J)标准化，这样步长就可以适当地收敛到局部极小值。
由于α是任意的，所以我们必须找到最佳的超参数学习速率(α)。
也许，当我们将梯度归一化为一个单位向量时，我们不必对其进行超参数调整，在这个单位向量中，梯度的大小总是1。
传统的梯度下降：
w:=w −α▽J
我的梯度下降：
w:=w −▽J/||▽J||
再次，回到我的问题，我不明白为什么梯度下降的变体没有我的想法。将梯度归一化为单位向量
ps。我推测，当梯度的幅度极低时，我的梯度下降可能不能很好地工作，并且可能会发散到inf。
浏览 0提问于2022-07-05得票数 1
在多元线性回归一节的课程机器学习中，Andrew提供了以下关于梯度下降的提示：
使用特性缩放来更快地收敛
将特性转换为大约-1
平均归一化
吴家富还提供了一些其他建议：
绘图成本与迭代
确保每一次迭代都能降低成本(尝试更小的alpha)
若要确定收敛速度是否太慢(请尝试更大的alpha)
以确定要收敛的迭代次数。
这些技巧适用于所有使用不同机器/深度学习算法的梯度下降问题，还是仅适用于多元线性回归？
浏览 0提问于2018-02-27得票数 2
回答已采纳
1回答
我试图在没有运气的情况下调优pegasos算法参数。
下面是使用6个一维点的简单示例.
void dlib_svm_test()
{
for(double lambda= 10e-10;lambda<=10e10;lambda*=10)
{
typedef dlib::matrix<double, 0, 1> sample_type;
typedef dlib::linear_kernel<sample_type> kernel_type;
dlib::svm_pegasos<kernel_t
浏览 2提问于2015-10-16得票数 0
1回答
我是一个最近才开始研究机器和深入学习的编程人员。
梯度上升和下降的用法到底有什么区别？我们为什么要最大化损失而不是最小化损失？更具体地说，我对它在卷积网络中的使用很好奇。
浏览 11提问于2022-02-20得票数 0
回答已采纳
学习GradientBoostingRegressor：
📷
我在看GradientBoostingRegressor的scikit学习文档。
这里说，我们可以使用'ls‘作为一个损失函数，这是最小二乘回归。但是我很困惑，因为最小二乘回归是一种最小化SSE损失函数的方法。
所以他们不应该在这里提到SSE吗？
浏览 0提问于2020-10-22得票数 1
回答已采纳
3回答
编辑：
一个更尖锐的问题:在我的梯度下降中，softmax的导数是什么？
这或多或少是一门课程的研究项目，我对NN的理解非常/相当有限，所以请耐心:)
我目前正在构建一个神经网络，它试图检查一个输入数据集并输出每个分类的概率/可能性(有5个不同的分类)。自然，所有输出节点的总和应该等于1。
目前，我有两个层，并将隐藏层设置为包含10个节点。
我想出了两种不同的实现
用于隐藏层激活的Logistic sigmoid，用于输出层和输出激活的输出最大软件
我利用梯度下降来寻找局部最大值，以调整隐藏节点的权重和输出节点的权重。我确信我对乙状结肠是正确的。对于softmax (或者我是否可以使用梯度
浏览 5提问于2010-04-21得票数 3
回答已采纳
1回答
我想为影响某些存储所使用的磁盘空间的算法找到参数的最佳组合。因此，使用几个算法参数(x1, x2, x3，其中0 < x1 < 1, 10 < x2 < 100, 0.1 < x3 < 0.5)作为模型的输入，存储S(x1, x2, x3)占用的磁盘空间是我想要最小化的成本函数。
问题是每个函数调用S(x1, x2, x3)都非常昂贵，可能需要几分钟甚至几个小时才能结束，因此准备培训集几乎是不可行的。相反，我希望ML库建议使用哪些(x1, x2, x3)值组合来估计下一个优化步骤的S值。
我相信这个任务对于主要的ML框架来说是很常见的，但是我还没有找到合适的
浏览 0提问于2021-12-13得票数 0
回答已采纳
Servus我正在用Nlopt(SLSQP)做一个关于参数识别的项目，我编写了一个测试代码，但是在3次迭代之后，编译器总是在'myfunc'(objectfunction)中的'grad‘处抛出关于Nullptr的异常：
抛出的异常:写访问违反. grad为nullptr.‘
，其中我使用有限差分来计算梯度，因为有限差分可以计算项目中复杂模型的梯度。
我尝试将一个不同的步长从1e-8改为1e-6，在此之后，代码毫无例外地正常工作，我不知道原因，有人能告诉我吗？
double myfunc(unsigned n, const double *x,double *grad,
浏览 0提问于2019-08-29得票数 1
回答已采纳
我有一个复杂的目标函数，我正在寻找优化。优化问题需要相当长的时间来优化。幸运的是，我确实有可用的函数的梯度和hessian。
在R中有没有一个优化包可以接受所有这三个输入？类'optim‘不接受黑森语。我已经扫描了，没有弹出任何东西。
无论如何，我可以在MATLAB中使用带有'GradObj‘和'Hessian’参数的'‘来执行优化。
浏览 2提问于2011-11-11得票数 10
回答已采纳
1回答
来自RISO的L-BFGS不工作
、、、、
我正在测试RISO的L-BFGS库的实现，用于在Java中实现逻辑回归的函数最小化。是我正在使用的类的链接。
为了测试库，我尝试最小化函数：
f(x) = 2*(x1^2) + 4*x2 + 5
这个库需要目标函数和梯度函数，如下所示：
/**
The value of the objective function, given variable assignments
x. This is specific to your problem, so you must override it.
Remember that LBFGS only minim
浏览 3提问于2014-01-09得票数 0
根据我的理解，通过书籍和谷歌搜索，
基于梯度的单边采样是一种基于梯度对实例进行降采样的新方法。如我们所知，小梯度的例子训练得很好(小训练误差)，而大梯度的例子训练不足。一种简单的下采样方法是通过只关注具有较大梯度的实例来丢弃具有小梯度的实例，但这会改变数据分布。简而言之，GOSS保留具有大梯度的实例，而对小梯度的实例执行随机抽样。来源
LightGBM采用一种新的基于梯度的单边采样(GOSS)技术来过滤数据实例以求出一个分割值，而XGBoost则使用预排序算法&基于直方图的算法来计算最佳分割。
谁能解释一下戈斯背后的数学吗？
浏览 0提问于2019-12-02得票数 6
我很好奇在实现上有什么不同，可以让lightGBM在XGBoost上加速，有时甚至可以达到数量级。
浏览 0提问于2020-07-24得票数 3
回答已采纳
在研究了Q-学习之后，Sarsa & DQN现在发现了一个术语“策略梯度”。
我有点不清楚它与上述方法有何不同。这是我的理解，请改正：
从我第一次遇到DQN的那一刻起，我就一直认为DQN的输入向量仅仅是由当前状态的特征组成的。On作为DQN的输出层，我们有一个动作向量。然后我们拿出得分最高的动作a的指数，然后执行它.它使我们进入下一个州s'。
为了计算误差(我们估计了a的分数有多不正确)，我们将s'提供给我们的DQN，然后发现它的最高动作类似于1。再次，it将位于DQN的输出层上。
通过引导a到a'来计算错误。除了选择的动作a的索引处外，“错误”向量在任何地方都
浏览 0提问于2018-07-18得票数 3
回答已采纳
我想在TensorFlow中构建分类器时，使用带有动量的梯度下降(跟踪以前的梯度)。
所以我不想使用tensorflow.train.GradientDescentOptimizer，但我想使用tensorflow.gradients来计算梯度，跟踪以前的梯度，并根据它们更新权重。
我如何在TensorFlow中做到这一点？
浏览 16提问于2016-08-26得票数 5
我有8160个数据集，输入的形状是(1500,1)，输出的形状是(2500,1)。输入的值介于-80到3之间。输出的值介于0到1之间。
我认为，通过使用全局最大值和全局最小值来对输入进行归一化。然后我意识到，通过使用输入的局部最大值和局部最小值，对每个特定输入分别使用归一化。然后我尝试了这两种方法，局部归一化的结果要好得多。
我不能理解这个。例如，通过使用局部归一化，'0‘对应于输入1的-20，'0’对应于输入2的-80。我认为，关于输入1和输入2的有用和比较信息丢失了。有人能帮助我理解这一点吗?局部归一化如何才能得到更好的结果？还是我的模型出了什么问题？谢谢。
浏览 1提问于2020-11-29得票数 1
1回答
我需要帮助理解记忆需求的神经网络和他们之间的训练和评估过程的区别。更具体地说，培训过程的内存需求(我使用的是运行在TensorFlow之上的Keras )。
对于包含N个权重的CNN，当使用批大小x时，对于权重本身和输入数据，需要一定数量的内存。在前传中，GPU需要额外的x*N内存单元(特定的数量对问题并不重要)来同时传递所有的样本并计算每个神经元的激活。
我的问题是关于反向传播过程，对于每个样本的每个权重的特定梯度，该过程似乎需要额外的x*N内存单元(*)。根据我的理解，这意味着该算法计算每个样本的特定梯度，然后对它们进行总结，以便向前一层进行反向传播。
Q.，既然每批只有一个更新步骤，为什
浏览 0提问于2018-11-13得票数 3
回答已采纳
据我所知，有不同类型的梯度下降方法来更新神经网络的权重。
例如，在each梯度下降中，在评估训练数据集的每个示例的误差之后更新权重。
另一方面，批量梯度下降评估一批训练样本(多于一个)的误差，以更新权重。
有人知道R的neuralnet包中实现了哪种方法吗？如果是批量梯度，那么批量大小是多少？我怎么能控制它呢？
谢谢
浏览 3提问于2018-11-26得票数 1
2回答
有人使用过Apache Commmons数学优化包吗？更具体地说，内尔德-米德方法的实现？它的质量很好吗？
浏览 1提问于2010-04-27得票数 3
我是Chainer的新手。我正在做的指南。然而，我发现了一些我认为很奇怪的东西。在Docs»Guides»Variable一章中，我编写了blow代码：
x = Variable(np.array([[1, 2, 3], [4, 5, 6]], dtype=np.float32))
y = 2.0 * x
# y.grad = np.zeros((2, 3), dtype=np.float32)
y.backward()
print(x.grad)
print(y.data)
然后，出现一个错误，错误消息是：
TypeError: unsupported operand type(s) for
浏览 1提问于2018-06-21得票数 2
我试图用中的狗腿方法来求解一个函数。为了更好地理解它，我正在修改帮助页面底部的示例，并使用dogleg方法：
from scipy.optimize import minimize
def fun(x):
return (x[0] - 1)**2 + (x[1] - 2.5)**2
# solver
res = minimize(fun, (2, 0), method='dogleg', jac=False) # or jac=None, it doesn't matter
print(res)
我得到一个错误ValueError: Jacobian is
浏览 4提问于2016-12-13得票数 2
回答已采纳
1回答
ReLU不一致性/随机行为
、、、、
我写了一个简单的nn (它应该添加两个数字)，我尝试了不同的激活函数，这是我的代码
class Layer:
def __init__(self):
self.inputs = None
def forward(self, inputs):
pass
def backward(self, error_gradient, lr):
pass
class Dense(Layer):
def __init__(self, n_inputs, n_neurons):
self.weights = np.random.randn(n_
浏览 2提问于2021-06-17得票数 1
回答已采纳
我正在训练一个神经网络，其中包含了。这一过程如下：
采取监督架构，并复制它。让我们称原来的模型为学生，称新模式为教师。
在每个培训步骤中，使用相同的小批量作为输入给学生和教师，但在输入中分别添加随机增强或噪声。在学生和教师输出之间添加一个额外的一致性成本(在softmax之后)。
让优化器正常更新学生的权重。
设教师权重为学生权重的指数移动平均(EMA)。也就是说，在每个训练步骤之后，将教师的权重稍微向学生的权重更新一点。
另外，tensorflow文档说，EMA变量是用(trainable=False)创建的，并添加到GraphKeys.ALL_VARIABLES集合
浏览 3提问于2019-02-28得票数 1
为什么我们在非常非凸的损失函数上使用梯度下降，例如在深度网/RNN中，而不是用启发式搜索(遗传算法、模拟退火等)？
浏览 0提问于2020-11-14得票数 0
回答已采纳
2回答
我在python中实现了梯度下降的线性回归。为了了解它做得有多好，我将它与scikit-learn的LinearRegression()类进行了比较。由于某些原因，sklearn的平均性能总是超过我的程序MSE 3(我正在使用波士顿房屋数据集进行测试)。据我所知，我目前没有做梯度检查来检查收敛性，但我允许多次迭代，并且将学习速率设置得足够低，使它能够收敛。我的学习算法实现中有什么明显的缺陷吗？这是我的代码：
import numpy as np
from sklearn.linear_model import LinearRegression
def getWeights(x):
l
浏览 3提问于2014-02-08得票数 4
回答已采纳
超参数优化使用两种技术，如网格搜索、或随机搜索。梯度下降主要用于将损失函数降到最小。
这里查询是在什么时候我们将使用网格搜索和梯度下降。
浏览 1提问于2019-02-10得票数 2
我看到了doc，tf.train.ExponentialMovingAverage实现了这个公式：
shadow_variable = decay * shadow_variable + (1 - decay) * variable
我没有找到tf.train.MomentumOptimizer的公式。但我想可能是：
v = γ*v - learning_rate*dx
θ = θ - v
我认为这两种功能有相似的效果，所以它们能相互交换吗?或者它们有不同的应用场景？还是我完全错了？
shadow_variable是否等同于θ？
谢谢你的指导。
浏览 0提问于2018-04-08得票数 0
回答已采纳
1回答
我正在优化使用pytorch的lstm网络，使用Adam优化器。我觉得我的学习速度太快了，但我甚至不能百分之百确定亚当是否会这么做，因为我找不到好的文档。如果亚当在默认情况下降低了学习速度，是否有办法关闭它并设定一个恒定的学习速率？
浏览 3提问于2022-03-13得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
