为什么我在python中使用梯度下降得到逻辑回归的负成本函数？
在Python中使用梯度下降得到逻辑回归的负成本函数可能是由于以下原因：
- 数据预处理问题：在使用梯度下降算法之前，需要对数据进行预处理，包括特征缩放、处理缺失值、处理异常值等。如果没有正确进行数据预处理，可能会导致梯度下降得到的结果不准确。
- 学习率选择不当：梯度下降算法中的学习率决定了每次迭代中参数更新的步长。如果学习率选择过大或过小，都可能导致梯度下降无法收敛或收敛速度过慢。需要根据具体问题选择合适的学习率。
- 损失函数定义错误：逻辑回归中常用的损失函数是交叉熵损失函数，而不是负成本函数。如果在代码中定义了错误的损失函数，就会导致梯度下降得到的结果不正确。
- 梯度计算错误：梯度下降算法的核心是计算损失函数对参数的梯度，然后根据梯度更新参数。如果在计算梯度时出现错误，就会导致梯度下降得到的结果不准确。需要仔细检查梯度计算的代码是否正确。
总结起来，如果在Python中使用梯度下降得到逻辑回归的负成本函数，可能是由于数据预处理问题、学习率选择不当、损失函数定义错误或梯度计算错误等原因导致的。需要仔细检查代码，并进行相应的调整和修正。
相关·内容
我试图在MATLAB中实现一个logistic回归求解器，并通过随机梯度下降来求权值。我遇到了一个问题，我的数据似乎产生了无限的成本，无论发生什么，它永远不会下降…这两种情况看起来都很好，我无法想象为什么我的成本函数总是会无限地返回。
在中，第一列是类(1或0)，接下来的七列是我试图返回的特性。
浏览 2提问于2014-10-17得票数 0
回答已采纳
3回答
我试图发展随机梯度下降，但我不知道它是否是100%正确的。
我的随机梯度下降算法所产生的代价有时与F对联C算法或批处理梯度下降算法产生的代价相差甚远。
当我设置学习速率α为0.2时，批梯度下降成本会收敛，但为了不发散，我不得不为随机实现设置一个学习速率α为0.0001。这是正常的吗？
以下是我在10,000个元素和num_iter = 100或500的训练集中获得的一些结果
FMINUC :
Iteration #100 | Cost: 5.147056e-001
BACTH GRADIENT DESCENT 500 ITER
Itera
浏览 1提问于2014-01-25得票数 9
回答已采纳
1回答
Logistic和线性回归具有不同的成本函数。但我不明白logistic回归中的梯度下降与线性回归是如何一致的。
通过推导平方误差代价函数，得到了梯度下降公式。然而，在Logistic回归中，我们使用了一个对数成本函数。我想我在这里迷路了。
浏览 0提问于2018-01-22得票数 1
回答已采纳
我正在学习关于Logistic回归的ML课程，以及Manning的机器学习实践。我正在尝试通过用Python实现所有的东西来学习。
我不能理解代价函数和梯度之间的区别。在网上有一些例子，人们计算成本函数，但有些地方他们不计算，而只是使用梯度下降函数w :=w - (alpha) * (delta)w * f(w)。
这两者之间的区别是什么？
浏览 1提问于2012-11-29得票数 56
回答已采纳
2回答
在我最近参加的一些机器学习课程中，我讨论了梯度下降，以找到最适合线性回归的直线。
在一些统计类中，我了解到我们可以使用统计分析，使用均值和标准差来计算这一行-- ，为什么这一看似更简单的技术不用于机器学习？
我的问题是，梯度下降是拟合线性模型的首选方法吗？如果是，为什么？还是教授只是在一个简单的设置中使用梯度下降来介绍这门技术呢？
浏览 6提问于2014-11-07得票数 7
回答已采纳
1回答
嗨，我是线性回归的新手。我想知道
机器学习线性回归中b/w梯度下降和均方误差的差异是什么？
和
机器学习在线性回归中何时使用梯度下降和均方误差？或者什么时候在线性回归中使用哪一种算法？
有人能解释一下吗？
浏览 0提问于2018-10-04得票数 1
2回答
我想从零开始在python中实现Logisitic回归。其中的职能如下：
乙状体
成本
费米农
Logistic回归评价
我想知道，在python中从零开始是一个很好的开始。任何关于如何和什么才是好的指导。我知道这些函数的理论，但我在寻找一个更好的复调答案。
我使用了octave，我做得很好，但是不知道如何在python中开始，因为OCtave已经设置了这些包来完成工作。
浏览 6提问于2013-12-02得票数 1
回答已采纳
1回答
目标
为寻求帮助，建议为什么下面的渐变下降实现不能工作。
背景
完成以下任务，实现逻辑回归。
📷
梯度下降
导出梯度下降，如图中所示。
Typo fixed as in the red in the picture.交叉熵对数损失为- \left [ylog(z) + (1-y)log(1-z) \right ]
📷
实现代码，但是它说是不正确的。
import numpy as np
def LogitRegression(arr):
# code goes here
x = arr[0]
y = arr[1]
a = arr[2]
b = arr[3]
浏览 0提问于2021-12-07得票数 3
我正在python中从头开始尝试逻辑回归。(通过寻找概率估计，成本函数，应用梯度下降来增加最大似然).But我对第一次迭代过程应该采用哪些估计感到困惑。我将所有估计都作为0(包括截距)学习。结果与我们在Scikit-.But中得到的结果不同。我想知道哪些是在Scikit-learn中进行逻辑回归的初始估计？
浏览 0提问于2016-06-29得票数 0
1回答
采用滑雪板进行分类是如何实现批处理梯度下降的？本文给出了随机GD的SGDClassifier (一次单实例)和线性/Logistic回归(采用正规方程)。
浏览 0提问于2019-04-06得票数 2
回答已采纳
根据我的理解，线性回归被用来预测一个基于输入的输出，它使用一个线性方程来最优地拟合一些输入数据。利用损失函数对输入数据选择最佳拟合线性方程。通过模拟y= mx +b中m和b的值，可以找到具有梯度下降的最优线性方程组。
我的问题是，梯度下降总是找到线性回归的全局最小损失吗？这个问题的一个扩展是，对前一个问题的答案不取决于所使用的损失函数吗？此外，当我们在m，b的图上使用梯度下降以及损失函数的值时，如果我们使用线性回归，该图是否总是凸的？
浏览 0提问于2021-10-04得票数 2
回答已采纳
如果极大似然估计( MLE )不能给出Logistic回归中参数的适当闭型解，为什么这种方法会有如此多的讨论呢？为什么不坚持梯度下降来估计参数呢？
浏览 0提问于2022-05-04得票数 2
回答已采纳
我是机器学习的新手，愿意学习和使用机器学习。只是我仍然不能理解在某些情况下使用正态方程与梯度下降相比的好处。我在Coursera上使用了Andrew Ng的课程，但是这个符号真的让我很难理解。
我想知道更多关于多项式回归的代价函数J(ō)的推导，以及他为什么使用向量x(i)转置的原因
浏览 7提问于2018-08-01得票数 1
据我所知，为了计算简单线性回归的权重和偏差，它遵循梯度下降算法，该算法致力于寻找成本函数(曲线)的全局最小值。该成本函数是通过随机选择一组权重，然后计算所有记录的平均误差来计算的。这样我们就得到了成本曲线上的一个点。再次选择另一组权重，并计算平均误差。所有这些点构成了成本曲线。我的疑问是，在计算(找到成本函数)成本曲线之前，有多少次随机选择权重来获得点数。提前谢谢。
浏览 5提问于2021-07-18得票数 0
1回答
我是一个最近才开始研究机器和深入学习的编程人员。
梯度上升和下降的用法到底有什么区别？我们为什么要最大化损失而不是最小化损失？更具体地说，我对它在卷积网络中的使用很好奇。
浏览 11提问于2022-02-20得票数 0
回答已采纳
我使用随机梯度下降(SGD)算法进行回归任务，并训练网络以进行输入数据点的多次迭代。我发现，在相同的迭代次数下，与未洗牌的输入数据相比，对输入数据进行混洗会产生更好的结果。举个例子，我正在训练网络，学习输入范围在-1,1之间的"Square“函数，总共有100个点和500次迭代。因此，总的训练点将是100*500，如果我将所有这些训练点都洗牌，系统会表现得更好。
有没有人能建议一下它背后的数学原理？为什么输入的混洗表现得更好？或者对参考论文的任何建议，这解释了培训中的随机性是如何有所帮助的。
谢谢。
浏览 1提问于2015-04-08得票数 2
我与现有的教程进行了广泛的比较，但我不明白为什么我的权重不更新。以下是返回更新列表的函数：
def get_updates(cost, params, learning_rate):
updates = []
for param in params:
updates.append((param, param - learning_rate * T.grad(cost, param)))
return updates
它是在任何类之外的顶层定义的。这是每个参数的标准梯度下降。这里的'params‘参数是作为mlp.params输入的，它只是每个层的param列表的级联列表。我删除
浏览 1提问于2015-07-03得票数 4
回答已采纳
在Logistic回归中，利用MLE建立数学函数来估计模型参数，采用梯度下降等优化技术求解该函数。
有人能提供一个用例子解释这个过程的资源吗？
浏览 0提问于2022-01-09得票数 1
1回答
在机器学习的coursera课程中，它说梯度下降应该收敛。
我使用的是scikit learn中的线性回归。它不提供梯度下降信息。我在stackoverflow上看到了很多关于使用梯度下降实现线性回归的问题。
我们如何在现实世界中使用scikit-learn中的线性回归？或者为什么scikit-learn不在线性回归输出中提供梯度下降信息？
浏览 0提问于2015-12-26得票数 26
回答已采纳
1回答
有人能给我一个关于梯度下降是如何在线性回归中使用的高层次视图吗？我知道梯度下降基本上可以有效地找到一个局部最小值，但这实际上如何帮助形成对数据的回归？谁能给我一个事件的顺序，其中的线实际上是形成到数据点？我知道如何计算点的梯度，只是不知道如何更有效地形成直线。
浏览 0提问于2016-12-23得票数 1
1回答
我在Matlab中有一个梯度下降的问题。我不知道如何构建这个函数。
默认设置：
max_iter = 1000;
learing = 1;
degree = 1;
我的logistic回归成本函数：(对吗？)
function [Jval, Jgrad] = logcost(function(theta, matrix, y)
mb = matrix * theta;
p = sigmoid(mb);
Jval = sum(-y' * log(p) - (1 - y')*log(1 - p)) / length(matrix);
if nargout &g
浏览 1提问于2014-04-10得票数 0
3回答
据说，具有梯度下降的反向传播力求使用以下公式将成本函数降到最低：
W_{new} = W_{old} - learningRate \cdot \frac{\partial E}{\partial W}
我的问题是，如果导数指示函数(相对于权重的误差图)在哪个方向递减，那么为什么要从已经负的梯度中减去呢？
为什么不允许梯度的当前方向(负数)作为更新权重的驱动因素：
W_{new} = W_{old} + learningRate \cdot (-gradient)
浏览 0提问于2020-10-01得票数 3
回答已采纳
3回答
我正在使用批量梯度下降实现逻辑回归。有两类输入样本将被分类。类是1和0。在训练数据时，我使用了以下sigmoid函数：
t = 1 ./ (1 + exp(-z));
哪里
z = x*theta
我正在使用以下成本函数来计算成本，以确定何时停止培训。
function cost = computeCost(x, y, theta)
htheta = sigmoid(x*theta);
cost = sum(-y .* log(htheta) - (1-y) .* log(1-htheta));
end
由于htheta的值在大多数情况下要么为1，要么为零，所以我在每一步的成本
浏览 2提问于2016-02-16得票数 17
回答已采纳
在神经网络中，采用梯度下降法寻找成本函数的最优最小值。为什么这种偏好而不是寻找利润函数的最大值呢？
最小化成本函数与最大化利润函数的优缺点是什么？
浏览 0提问于2021-04-02得票数 1
5回答
线性回归中的梯度下降
、、、
我正在尝试用java实现线性回归。我的假设是theta0 + theta1 * xi。我正在尝试计算theta0和theta1的值，以便使成本函数最小。我正在使用梯度下降来找出值-
在
while(repeat until convergence)
{
calculate theta0 and theta1 simultaneously.
}
在收敛之前，这种重复是什么？我知道这是局部最小值，但是我应该放在while循环中的确切代码是什么呢？
我是机器学习的新手，刚刚开始编写基本的算法以获得更好的理解。任何帮助都将不胜感激。
浏览 7提问于2014-01-11得票数 2
1回答
梯度下降更新规则：
将这些值用于此规则：
X= 10 20 30 40 50 60 70 80 90 100 y=4 7 8 4 5 6 7 5 3 4
在使用0.07的学习速率进行两次迭代后，输出的值θ为
-73.396
-5150.803
经过三次迭代后，θ是：
1.9763e+04
1.3833e+06
因此，在第二次迭代之后，θ似乎变大了，这意味着学习速度太大了。
所以我决定：
迭代= 300；α= 0.000007；
theta现在：
0.0038504
0.0713561
这些θ值是否允许我画一条直线，如果是这样的话？我刚刚开始尝试理解梯度下降，所以请指出我的逻
浏览 3提问于2015-07-18得票数 3
回答已采纳
6回答
在最小二乘模型中，成本函数被定义为预测值与实际值之差的平方，作为输入的函数。
当我们进行逻辑回归时，我们将成本函数更改为对数函数，而不是将其定义为sigmoid函数(输出值)与实际输出之间的差值的平方。
是否可以更改和定义我们自己的成本函数来确定参数？
浏览 2提问于2012-08-28得票数 22
回答已采纳
Matlab已经使用mnrfit构建了逻辑回归，但是我需要使用L2正则化实现逻辑回归。我完全不知道该怎么做。我找到了一些很好的论文和网站参考资料，里面有一堆方程，但不确定如何实现优化所需的梯度下降算法。
在Matlab中有没有容易获得的示例代码来实现这一点。我发现了一些库和包，但它们都是更大的包的一部分，并且调用了如此多的复杂函数，仅仅通过跟踪就可能会迷失方向。
浏览 1提问于2012-02-21得票数 4
1回答
梯度下降算法中激活函数的导数
、、、、
为什么在更新模型(回归或神经网络)参数时需要计算激活函数的导数？为什么线性函数的恒定梯度被认为是一个缺点？
据我所知，当我们使用公式进行随机梯度下降时：
\text{weight} = \text{weight} + (\text{learning rate}\times (\text{actual output} - \text{predicted output}) * \text{input})
那么，权重也会被很好地更新，那么为什么导数的计算被认为是如此重要呢？
浏览 0提问于2019-07-13得票数 1
注意:当您在函数中看到(0)时，它表示Theta而不是Zero
我一直在学习安德鲁·吴的机器学习课程，我有以下疑问：
(简写:如果要看所有用于前向和后向传播的数学表达式/计算，那么在我看来，我们似乎从不直接使用成本函数，而是它的导数，那么成本函数及其选择的重要性是什么呢？如果我们愿意的话，是否纯粹是为了评估我们的系统？)
Andrew提到，对于Logistic回归，使用MSE (均方误差)成本函数。
这不太好，因为将它应用于我们的Sigmoid函数会产生一个具有大量局部最优的非凸成本函数，所以我们最好使用以下物流成本函数：
其中有两个图(一个是y=0图，一个图是y=1图)，
浏览 4提问于2020-11-23得票数 0
2回答
在机器学习回归问题中，为什么计算导数函数的局部最小值而不是实际函数的局部最小值？
示例：
应用梯度下降算法来寻找函数$$的局部最小值
f(x)=x^4−3x^3+2, ----(A)
使用导数
f'(x)=4x^3−9x^2. ----(B)
这里，为了用梯度下降算法求函数(A)的局部最小值，他们使用了(A)的导函数，即函数(B)。
浏览 1提问于2013-02-12得票数 3
回答已采纳
我阅读了Andrew NG的机器学习教程，在线性回归中遇到了梯度下降。当我尝试使用Python查找同样的内容时，我在youtube教程中找到了：
这里使用最佳拟合斜率进行线性回归。请建议什么时候使用哪一个？最优拟合或相似过程能用于高次多项式吗?能用于多元线性回归吗？
向Souvik Saha Bhowmik致敬
浏览 2提问于2016-10-20得票数 0
1回答
需要一个mllib专家来帮助解释线性回归代码。在中
override def compute(
data: Vector,
label: Double,
weights: Vector,
cumGradient: Vector): Double = {
val diff = dot(data, weights) - label
axpy(diff, data, cumGradient)
diff * diff / 2.0
}
cumGradient是使用axpy计算的，它只是y += a* x，或者这里是cumGradient += diff * d
浏览 2提问于2015-09-02得票数 0
回答已采纳
我看到很多实现使用GIS或IIS来训练最大熵模型。我们能用梯度下降法吗？如果我们可以使用它，为什么大多数教程直接告诉GIS或IIS方法，但不显示简单的梯度下降法来训练最大熵模型？正如我们所知，softmax回归相当于最大模型，但我从未听说过GIS或IIS在softmax中。为什么？是否有一个玩具代码使用简单的梯度去训练最大模型？我认为很容易实现一个玩具代码，它的推导只是计算经验期望和模型期望。
浏览 0提问于2016-07-10得票数 2
回答已采纳
2回答
我试图理解“反向传播”，因为它是使用梯度下降优化的神经网络。读一读文学作品，似乎做了几件事。
使用随机权重开始并获取错误值。
对损失函数执行梯度下降，使用这些权重来获得新的权重。
用这些新的权重更新权重，直到损失函数最小化为止。
上述步骤似乎是线性模型的精确求解过程(例如，回归)。安德鲁·吴的“机器学习课程”与线性回归课程完全一样。
所以，我想弄清楚BackPropagation对损失函数是否做了比梯度下降更多的事情。如果没有，为什么只在神经网络中引用，为什么不引用GLMs (广义线性模型)。他们似乎都在做同样的事-我可能错过了什么？
浏览 11提问于2016-06-28得票数 4
回答已采纳
在线性回归空间中使用梯度下降有什么好处？看起来我们可以用分析方法来解决这个问题(找到最小成本函数的0-n)，那么为什么我们仍然想用梯度下降来做同样的事情呢？谢谢
浏览 8提问于2013-08-12得票数 75
回答已采纳
1回答
sklearn的线性回归模型使用闭合或法线方程来查找参数。然而，对于大数据集，梯度下降被认为是更有效的。有没有办法通过渐变下降来使用sklearn中的LinearRegression？
浏览 0提问于2021-03-29得票数 0
1回答
那么这个算法到底意味着什么呢？
我知道的：
(一)阿尔法:梯度下降的步骤有多大。
( ii)现在，∑{ hThetax(i) - y(i) }：指具有给定的Theta值的总错误。
误差是指预测值{ hThetax(i) }与实际值之间的差异。y(i)
hThetax{∑(I)- y(i) }给出了所有训练示例中所有错误的求和。
结尾的Xj^(i)代表什么？
我们在实现多元线性回归梯度下降时是否做了以下工作？
Theta (j)减：
alpha
乘以1/m
时代：
{第一训练范例的误差乘以第一训练范例的jth元件。加号
第二次训练实例的jth元素对第二次训练实例的误
浏览 4提问于2017-02-02得票数 2
回答已采纳
我使用Q学习，我想知道我是否可以使用tf.losses.mean_squared_error损失计算函数，如果我有一个奖励函数，可以给负回报。
因为如果我有以下Q值作为我网络的输出：(0.1，0.2，1)，并且我计算出我的实际Q值应该是(0.1，-5，1)，如果我使用mean_squared_error函数，第二个q值的损失会变成正的，我错了吗？因为有平方运算，所以坡度下降会不会基于正确的损失？
浏览 0提问于2019-05-23得票数 2
回答已采纳
3回答
出于训练的目的，我用python实现了一个线性回归。问题是成本在增加，而不是减少。对于数据，我使用翼型自噪声数据集。数据可以在上找到
我导入的数据如下：
import pandas as pd
def features():
features = pd.read_csv("data/airfoil_self_noise/airfoil_self_noise.dat.txt", sep="\t", header=None)
X = features.iloc[:, 0:5]
Y = features.iloc[:, 5]
r
浏览 2提问于2018-08-30得票数 14
我试着从朱莉娅的古瑟拉那里做Logistic回归，但不起作用。
用于计算梯度的Julia代码：
sigmoid(z) = 1 / (1 + e ^ -z)
hypotesis(theta, x) = sigmoid(scalar(theta' * x))
function gradient(theta, x, y)
(m, n) = size(x)
h = [hypotesis(theta, x[i,:]') for i in 1:m]
g = Array(Float64, n, 1)
for j in 1:n
g[j] =
浏览 3提问于2016-05-06得票数 5
回答已采纳
1回答
虽然只使用numpy库实现逻辑回归，但我为成本函数编写了以下代码： #sigmoid function
def sigmoid(z):
sigma = 1/(1+np.exp(-z))
return sigma
#cost function
def cost(X,y,theta):
m = y.shape[0]
z = X@theta
h = sigmoid(z)
J = np.sum((y*np.log(h))+((1-y)*np.log(1-h)))
J = -J/m
return J θ是一个(3,1)数组，X是形状(m,3)的训练数据。X的第一列是1。
浏览 8提问于2020-04-25得票数 0
我是张量流的新手，我看到了使用GradientDescentOptimiser的两种不同的方法
for (x, y) in zip(trX, trY):
sess.run(train_op, feed_dict={X: x, Y: y})
我也看到了这种集成循环
sess.run(train_op, feed_dict={X: trX, Y: trY})
我对两者进行了测试，但得到的结果略有不同。目前，我只是对自己进行简单的线性回归训练，但这可能会对ANN产生影响。为什么有不同之处，哪一个是神经网络的最佳代码？
浏览 2提问于2016-11-07得票数 1
回答已采纳
1回答
我正在尝试用负采样在python中实现跳格word2vec。根据我的理解，我应该将的论文中的方程(4)最大化。
对于Vc，U和U_rand，我取了这个方程的梯度。其中Vc是中心词对应的中心向量，U是中心词上下文中的上下文向量，U_rand是随机抽取词的上下文向量。
然后，我将计算单词和上下文单词的每个组合的成本函数，并将它们加起来并打印出整个语料库的总总和。我已经做了几次了，我看不出整个成本之和有什么改善。成本一次又一次地上升。
我得到了以下梯度
关于Vc =(1-σ(V·U))*U-随机向量(1-σ(-V·U_rand))*U_rand上的求和
关于U=(1-西格玛(V·U))*V
关于U
浏览 0提问于2018-04-10得票数 4
4回答
我目前正在用numpy在Python中实现一个简单的神经网络和backprop算法。我已经使用中心差测试了我的backprop方法，得到的梯度是相等的。
然而，网络不能近似一条简单的正弦曲线。该网络具有具有tanh激活函数的隐藏层(100个神经元)和具有线性激活函数的输出层。每个单元也有一个偏置输入。训练是通过简单的梯度下降完成的，学习率为0.2。
问题产生于梯度，它随着每一个时代的增加而变大，但我不知道为什么？此外，如果我降低学习率，问题是不会改变的。
编辑:我已经将代码上传到pastebin：
浏览 3提问于2013-11-12得票数 3
2回答
我正在尝试做(最好是随机的)梯度下降，以最小化自定义损失函数。我试过使用scikit学习SGDRegressor课程。但是，SGDRegressor似乎不允许我在没有数据的情况下最小化自定义损失函数，如果我可以使用自定义丢失函数，我只能将它作为回归来使用fit()方法来拟合数据。
是否有一种方法可以使用scikit实现或任意其他Python实现的随机梯度下降，以最小化一个自定义函数没有数据？
浏览 12提问于2022-11-30得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
