Sigmoid vs二元交叉熵损失
Sigmoid和二元交叉熵损失都是在机器学习领域中常用的损失函数，用于衡量模型预测结果与真实标签之间的差异。下面是对这两个概念的详细解释：
- Sigmoid函数：
- 概念：Sigmoid函数是一种常用的激活函数，将输入的实数映射到0到1之间的概率值。它的公式为：f(x) = 1 / (1 + e^(-x))。
- 分类：Sigmoid函数属于激活函数的一种，用于在神经网络中引入非线性特性。
- 优势：Sigmoid函数的输出范围在0到1之间，可以将输出解释为概率。它的导数在0附近较大，有助于梯度下降算法的收敛。
- 应用场景：Sigmoid函数常用于二分类问题，将模型的输出转化为概率值，用于判断样本属于某一类别的概率。
- 腾讯云相关产品：腾讯云提供的深度学习平台AI Lab中的AI Lab Model Maker可以用于构建神经网络模型，其中包括Sigmoid函数作为激活函数的选项。详细信息请参考：AI Lab Model Maker
- 二元交叉熵损失：
- 概念：二元交叉熵损失是一种常用的损失函数，用于衡量二分类模型的预测结果与真实标签之间的差异。它的公式为：L(y, y') = -y * log(y') - (1 - y) * log(1 - y')，其中y为真实标签（0或1），y'为模型的预测结果（0到1之间的概率值）。
- 分类：二元交叉熵损失属于损失函数的一种，用于衡量模型预测结果的准确性。
- 优势：二元交叉熵损失在二分类问题中广泛应用，能够有效地衡量模型的预测结果与真实标签之间的差异，并且对于概率预测结果的变化更加敏感。
- 应用场景：二元交叉熵损失常用于二分类问题，例如判断邮件是否为垃圾邮件、图像是否包含某个目标等。
- 腾讯云相关产品：腾讯云提供的深度学习平台AI Lab中的AI Lab Model Maker可以用于构建神经网络模型，其中包括二元交叉熵损失作为损失函数的选项。详细信息请参考：AI Lab Model Maker
总结：Sigmoid函数是一种常用的激活函数，用于将输入映射到0到1之间的概率值，常用于二分类问题；而二元交叉熵损失是一种常用的损失函数，用于衡量二分类模型的预测结果与真实标签之间的差异。在腾讯云的AI Lab中，可以使用AI Lab Model Maker构建神经网络模型，并选择Sigmoid函数作为激活函数或二元交叉熵损失作为损失函数。
相关·内容
3回答
一种多标签分类模型的评价
、、、、
我目前有一个多标签的分类问题，我正在使用keras构建一个神经网络，如下所示：
n_cols = dataset.shape[1]
print(n_cols)
model = Sequential()
model.add(Dense(128, activation='relu', input_shape=(n_cols,)))
model.add(Dense(64, activation='relu'))
model.add(Dense(26, activation='sigmoid')) # Sigmoid for multi-label c
浏览 0提问于2020-07-16得票数 0
回答已采纳
我刚接触Pytorch，所以我试着通过创建简单的狗与猫的分类来学习它。代码：
class DogCatClassifier(nn.Module):
def __init__(self):
super().__init__()
self.conv1 = nn.Conv2d(1, 32, 5)
self.conv2 = nn.Conv2d(32, 64, 5)
self.conv3 = nn.Conv2d(64, 128, 5)
self.fc1 = nn.Linear(512, 256)
s
浏览 0提问于2020-04-14得票数 0
1回答
我正在构建一个二进制分类，其中我想要预测的类只出现在<2%的时间。我用的是火把
最后一层可能是logosftmax或softmax。
self.softmax = nn.Softmax(dim=1)或self.softmax = nn.LogSoftmax(dim=1)
我的问题
我应该使用softmax，因为它将提供总结为1的输出，并且我可以检查各种prob阈值的性能。这样理解正确吗？
如果我使用softmax，那么我可以使用cross_entropy loss吗？这似乎认为使用它是可以的。
如果我使用logsoftmax，那么我可以使用cross_entropy loss吗？这似乎建
浏览 0提问于2022-03-03得票数 0
回答已采纳
1回答
我遵循这个keras教程，使用MNIST数据集创建一个自动编码器。这是教程：https://blog.keras.io/building-autoencoders-in-keras.html。 然而，对于简单的单层自动编码器(这是链接中的第一个示例)，我对激活和丢失的选择感到困惑。是否有特定的原因将sigmoid激活用于解码器部分，而不是relu之类的东西？我正在尝试理解这是不是一个我可以玩弄的选择，或者它是否确实应该是sigmoid，如果是的话，为什么？类似地，我理解损失是通过逐个像素级别比较每个原始和预测数字来获取的，但我不确定为什么损失是binary_crossentropy，而不是均
浏览 14提问于2020-01-04得票数 0
回答已采纳
1回答
我正在尝试实现一个自动编码器，用于使用Keras预测多个标签。这是一个片段：
input = Input(shape=(768,))
hidden1 = Dense(512, activation='relu')(input)
compressed = Dense(256, activation='relu', activity_regularizer=l1(10e-6))(hidden1)
hidden2 = Dense(512, activation='relu')(compressed)
output = Dense(768, activ
浏览 0提问于2021-05-12得票数 0
1回答
交叉熵损失Pytorch
、、、、
我有一个关于我的pytorch网络中交叉熵损失的最佳实现的问题。我正在构建一个网络，用于预测Volume-Pictures的3D分割。我有一个背景类或一个前景类，但它应该也有可能预测两个或更多不同的前景类。
训练时输入到我的网络中的形状是batch_size，input_channels，width，height，depth。输入通道等于1，因为我只有灰度图像，深度取决于组成3D体积的2D图片的数量。
网络的输出是batch_size，#classes，width，height，depth。#classes现在等于2，这两个维度几乎是彼此的倒数，因为我现在只有一个背景类和一个前景类。
现在我想
浏览 2提问于2021-06-08得票数 0
在使用神经网络进行分类时，有人说：
您通常希望使用softmax交叉熵输出，因为这给出了每个可能选项的概率。
在常见的情况下，只有两个选项，您想使用sigmoid，这是相同的事情，除了避免冗余输出p和1-p。
在TensorFlow中计算软件最大交叉熵的方法似乎是这样的：
cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=prediction,labels=y))
因此，输出可以直接连接到最小化代码，这是很好的。
我为sigmoid输出提供的代码，同样基于各种教程和示例，大致如下：
p =
浏览 0提问于2018-03-28得票数 2
回答已采纳
1回答
查看sigmoid_cross_entropy_loss_layer.cpp中的源代码，这是caffe中交叉熵损失函数的源代码，我注意到实际错误值的代码是
for (int i = 0; i < count; ++i) {
loss -= input_data[i] * (target[i] - (input_data[i] >= 0)) -
log(1 + exp(input_data[i] - 2 * input_data[i] * (input_data[i] >= 0)));
}
这似乎与Caffe或C++实现文档中的CE损失函数有很大
浏览 1提问于2017-06-12得票数 1
4回答
概率回归损失函数
、、、、
我试图用神经网络来预测一个概率，但是很难确定哪一个损失函数是最好的。交叉熵是我的第一个想法，但其他资源总是在标签为\{0, 1\}的二进制分类问题中讨论它，但在我的例子中，我有一个实际的概率作为目标。这些选项中的一种显然是最好的，还是它们在极端0/1区域附近的差别很小，它们都是有效的？
假设x是我的模型的最后一层的输出。
交叉熵：
\text{target} * -\log(\text{sigmoid}(x)) + (1 - \text{target}) * -\log(1 - \text{sigmoid}(x))
使用Sigmoid的均方误差：
(\text{sigmoid}(x)
浏览 0提问于2019-02-09得票数 9
我是新来西亚诺的。我已经学习了基础知识并尝试实现简单的模型(Logistic回归等)。该模型非常简单，具有784 (28*28)个输入单元和10个单元的softmax非线性(在MNIST数据集上进行训练)。我使用作为损失函数，并使用L2调节器来防止过度拟合。但模型似乎仍然过拟合(通过查看模型的权重；如下所示)。我尝试更改正则化参数(lambda)，但什么都不起作用。我哪里错了？提前谢谢。
# theano stuff
from theano import shared, function, pp
import theano.tensor as T
import numpy as np
impo
浏览 0提问于2015-10-29得票数 1
3回答
我使用的ResNet18预训练模型，将用于一个简单的二值图像分类任务。但是，包括PyTorch本身在内的所有教程都使用nn.Linear(num_of_features, classes)作为最终的完全连接层。我不明白的是，该模块的激活函数在哪里？另外，如果我想使用sigmoid/softmax，怎么办？
谢谢你提前帮忙，我对毕道士有点陌生。
浏览 7提问于2021-02-16得票数 1
回答已采纳
1回答
对于标题中的问题的答案是非常明显的，因为它通常被称为"ArcFace丢失“。
然而，有一部分让我感到困惑：
我正在阅读Arcface的以下Keras实现：
在其中，请注意，model.compile行仍然指定loss='categorical_crossentropy'。
此外，我还看到了许多将Softmax称为损失函数的来源，而我以前所理解的是许多分类神经网络输出层的激活函数。
基于这两个混淆点，我目前的理解是，丢失函数，即网络实际上是如何计算给定示例表示“错误程度”的数目的，而不管是交叉熵。ArcFace，和Softmax一样，是输出层的激活函数。
这是对的吗？如
浏览 5提问于2019-12-17得票数 2
我用tensorflow来给灰度图像着色。因此，我使用sigmoid_cross_entropy_with_logits()，并使用tf.train.AdadeltaOptimizer()将其最小化。我训练它并打印
correct_prediction = tf.norm(y_ - y_conv)
但是经过几次迭代，它给了我nan
step 0, acc 2068538.88
step 1, acc 287121.97
step 2, acc 82377.69
step 3, acc 31250.95
step 4, acc 16694.72
step 5, acc 10168.58
step
浏览 0提问于2018-03-26得票数 1
回答已采纳
我试着训练我的模型阅读一些x射线图像，我使用木星笔记本，导入库，定义图像属性，准备数据集，创建神经网络模型，定义回调.并管理数据，但在试图训练我的模型时，我得到了以下错误：
ValueError: Unexpected result of `train_function` (Empty logs). Please use `Model.compile(..., run_eagerly=True)`, or `tf.config.run_functions_eagerly(True)` for more information of where went wrong, or file a iss
浏览 37提问于2022-03-17得票数 0
回答已采纳
1回答
我将训练一个神经网络(例如，前馈网络)，其中的输出只是表示概率的实数值(因此在0，1间隔内)。最后一层(即输出节点)应该使用哪个激活函数？
如果我不使用任何激活函数，只输出tf.matmul(last_hidden_layer, weights) + biases，可能会导致一些负输出，这是不可接受的，因为输出是概率，因此预测也应该是概率。如果我使用tf.nn.softmax或tf.nn.softplus，模型在测试集中总是返回0。有什么建议吗？
浏览 0提问于2016-12-01得票数 0
1回答
假设对于单个培训示例，真正的标签是1 0 0 0，而预测是0.1 0.5 0.1 0.1 0.2。如何计算其二元交叉熵？以及输出值如何决定一个样本是属于a类还是b类？我也想知道，在二元交叉熵公式中，什么是1-p？
浏览 0提问于2018-09-30得票数 1
我正在构建一个CNN来进行二进制分类(1或0)。为此，我使用了成本函数sigmoid_cross_entropy_with_logits。
但出于某种原因，即使预测值等于正确的值，使用此函数的成本也永远不会等于零。
我试着用TensorFlow网站上的公式来绘制输出：https://www.tensorflow.org/api_docs/python/tf/nn/sigmoid_交叉_熵_使用_逻辑
这个公式：
max(x, 0) - x * z + log(1 + exp(-abs(x)))
通过绘制这个图，我意识到，当输出相等时，它真的不是零。例如，如果z=0和x= 0，则此函数的结果是~
浏览 0提问于2018-08-16得票数 0
我正在尝试用Java实现一个神经网络。我在学习神经网络时，在我的机器学习课本中遇到了这个问题：
为了给出一些背景知识，这一部分讨论了使用单个感知器进行分类。感知器计算一个简单的函数，该函数是输入的加权和。让我们调用此函数的输出f(x)。然后，sigmoid函数接受f(x)作为输入。这是教科书中的一句话：
The output of the sigmoid function may be interpreted as the posterior
probability that the input x belongs to a certain class.
为什么sigmoid函数的输出被解释
浏览 2提问于2014-02-26得票数 2
我一直在学习吴教授在课程上的机器学习课程。目前，我正试图证明反向传播公式，这是在第5周(在本文件中)中提到的。显然，它提到了δ(L) = a(L)−y。
然而，我也在Youtube上看到了这段视频。在4:30中，δ(3) = -(y - y^) * f'(z(3))，其中f是sigmoid函数。由于L=3，y^ = a(L)，这就意味着δ(1996)=(a，b)- y) *f‘(z( and ))。我还导出了方程，得到了与视频完全相同的结果。但是，这有一个额外的"f'(z(L))“术语，这个词与古瑟拉中的不同。我甚至在第五周的编程作业中实现了这个等式，但是它只在没有这个
浏览 0提问于2018-11-14得票数 1
回答已采纳
我是机器学习的新手，我想我会从科拉斯开始。在这里，我将电影评论分类为三类(正为1，中性为0，负为-1)，使用二进制交叉熵。所以，当我试图用tensorflow估计来包装我的keras模型时，我得到了误差。
守则如下：
import tensorflow as tf
import numpy as np
import pandas as pd
import numpy as K
csvfilename_train = 'train(cleaned).csv'
csvfilename_test = 'test(cleaned).csv'
# Read .csv
浏览 3提问于2020-08-12得票数 2
回答已采纳
6回答
在最小二乘模型中，成本函数被定义为预测值与实际值之差的平方，作为输入的函数。
当我们进行逻辑回归时，我们将成本函数更改为对数函数，而不是将其定义为sigmoid函数(输出值)与实际输出之间的差值的平方。
是否可以更改和定义我们自己的成本函数来确定参数？
浏览 2提问于2012-08-28得票数 22
回答已采纳
2回答
I误用二进制交叉熵作为软熵，改为分类交叉熵.并且在我自己的回答中对下面问题的细节做了一些回顾
我正在尝试使用开源数据:sogou_news_csv(按照向张和Yann LeCun的“从零开始理解文本”，使用jieba进行文本分类的拼音转换为拼音)。(主要遵循使用字符级CNN的思想，但本文提出的结构)。
我根据字母表集合使用一个热编码进行预处理，然后用0填充所有不在字母表集合中的字符。结果得到的训练数据为(450000,1000，70)，(data_size，sequence_length，alphabet_size)。
然后，我将数据输入到的cnn结构中。
tried different l
浏览 3提问于2017-11-01得票数 1
回答已采纳
我是CNN的新手，并试图研究一些MATLAB示例代码(因为我需要知道内部计算)。我最近意识到，我使用的示例代码在反向传播中不会将误差乘以sigmoid的导数。前馈过程有sigmoid作为最后一层的激活函数，因此根据我的理解，反向传播误差=(输出-目标)*sigmoid的导数(输出)。但是，作者故意用以下代码禁用了这一乘法：
if cnn.loss_func == 'cros'
if cnn.layers{cnn.no_of_layers}.act_func == 'soft'
cnn.CalcLastLayerActDerivative
浏览 0提问于2019-03-24得票数 3
2回答
我读过和的帖子。但是，我的问题是非常具体的:如果我的model.predict()函数输出的类标记为0和1的分类问题类似于：
array([[0.5147758 ],
[0.48530805],
[0.5122566 ],
[0.4839405 ],
[0.49831972],
[0.4886117 ],
[0.5130876 ],
[0.50388396]], dtype=float32)
我在最后一层中使用了binary_crossentropy丢失，如：
Dense(1, activatio
浏览 0提问于2019-08-25得票数 2
回答已采纳
我已经在西亚诺建立了一个基于mnist.py在拉萨内的例子的神经网络。我试图先训练一个由单个隐藏层组成的神经网络，定义为
def build_first_auto(input_var=None):
l_input=lasagne.layers.InputLayer(shape=(None, 1, 48, 1), input_var=input_var)
l_hidden1=lasagne.layers.DenseLayer(l_input,num_units=256,nonlinearity=lasagne.nonlinearities.sigmoid,W=lasagne.i
浏览 2提问于2016-08-18得票数 1
1回答
在处理神经网络输出时，我发现了两种将输出表示为神经网络的不同方法：
使用一个值不同的列作为不同的分类：
1 // class A
10 // class B
10 // class B
1 // class A
1 // class A
作为两个不同的阶级
使用2列作为不同的分类
1 0 // class A
1 0 // class A
0 1 // class B
1 0 // class A
0 1 // class B
如果我错了，请纠正我，或者告诉我
浏览 0提问于2017-04-24得票数 -1
1回答
关于激活功能工作机制的混淆
、、、、
对于二进制分类，无论使用何种模型，sigmoid函数对于输出层都是一个很好的选择，因为实际的输出值‘Y’要么是0，要么是1，因此预测的输出值在0到1之间是有意义的。
我的困惑是，在输出层中是否存在一个二元步长函数，它将权重和输入的线性组合的值压缩为0或1？分类是否意味着总是在隐藏层的线性或非线性函数之上应用阈值函数？
假设预测的产值为0.75，实际Y为0。那么，0.75如何转换为1呢？损失函数按实际预测= 0-0.75 = -0.75计算误差。
有人能解释一下数学或指出一些工作步骤显示的链接吗？谢谢。
浏览 0提问于2019-06-17得票数 1
回答已采纳
1回答
Keras对数损失函数
、、、
我必须将以下损失函数应用于角膜缘：
这是我的密码：
input_shape = self.s_dim[1:]
input_ = Input(shape=input_shape, name='input')
hidden = Dense(self.n_hidden, activation='relu')(input_)
out = Dense(3, activation='sigmoid')(hidden)
model = Model(inputs=input_, outputs=out, name="ar-model"
浏览 0提问于2018-04-30得票数 1
回答已采纳
我正在研究Keras中的一个多标签问题，使用双叉熵损失函数和sigmoid激活。假设我有4个类，所以响应可能如下所示：
[1, 0, 0, 1]
尽管绝大多数的回应实际上都是零的
[0, 0, 0, 0]
数据在不同的类之间也是非常不平衡的，如果我对y做了一个求和，那么每个类中的正数的总数将会是这样的。
[2000, 500, 1000, 250]
因此，为了对每个类都给予同等的权重，我认为我应该构造一本字典，如下所示
weights = {0: 2.5, 1: 10., 2: 5., 3: 20}
并将其传递给Keras中的class_weight参数。
不过，我的问题是：
如果我的响应变量
浏览 0提问于2018-10-24得票数 8
我正在尝试在一些模拟数据上训练自动编码器，其中输入基本上是一个应用了高斯噪声的向量。代码与本例中的代码几乎完全相同：
唯一的区别是我更改了网络参数和成本函数：
n_hidden_1 = 32 # 1st layer num features
n_hidden_2 = 16 # 2nd layer num features
n_input = 149 # LunaH-Map data input (number of counts per orbit)
cost = tf.reduce_mean(-tf.reduce_sum(y_true * tf.log(y_p
浏览 1提问于2017-02-23得票数 1
本文提出了一种基于人工神经网络的模型，每次训练的准确率为94.65%，损失率为12.06%。现在我的问题是，模型的损失不是应该是(100-94 = 6%)还是接近它？当准确度为94%时，为什么要给出12%的结果？
·ANN模型规范：
培训和测试data= 96,465 (培训数据= 80%，测试数据= 20%)
1输入layer= 5节点，2隐藏layers= 24节点，1输出layer= 5节点
激活函数: a.隐层中的校正线性(ReLu)函数b.输出层中的Softmax函数
优化者:亚当
损失函数:稀疏范畴交叉熵
批次大小: 100
历代: 30
浏览 0提问于2021-08-21得票数 0
1回答
我正在训练一个用于句子分类任务的keras模型。问题是，尽管它给出了94%的准确率，但它没有学到任何东西。当我给出一个新句子(不在数据集中)时，它给出了相同的概率(在model.prediction步骤中)。我不明白为什么会发生这样的事情。
这是我的模型
model = Sequential()
model.add(Embedding(max_words, 30, input_length=max_len))
model.add(BatchNormalization())
model.add(Activation('tanh'))
model.add(Dropout(0.5))
浏览 10提问于2020-08-03得票数 0
4回答
我试图用LSTM解决一个简单的二进制分类问题。我正在努力找出正确的网络损失函数。问题是，当我使用二元交叉熵作为损失函数时，训练和测试的损失值要比使用均方误差(MSE)函数要高。
在研究中，我发现了二元交叉熵用于分类问题，MSE用于回归问题的理由。然而，在我的情况下，我得到了更好的准确性和较小的损失值与MSE的二进制分类。
我不知道如何证明这些结果是合理的。为什么不使用均方误差来解决分类问题呢？
浏览 0提问于2019-05-06得票数 11
回答已采纳
我正在学习所有与数据科学相关的知识，以及如何训练U-Net来进行语义分割。
我有一个U网，它有这个损失函数：
def dice_coef(y_true, y_pred):
y_true_f = K.flatten(float(y_true))
y_pred_f = K.flatten(float(y_pred))
intersection = K.sum(y_true_f * y_pred_f)
return (2 * intersection + 1) // (K.sum(y_true_f) + K.sum(y_pred_f) + 1)
def dice_c
浏览 0提问于2020-08-12得票数 0
回答已采纳
1回答
如果y是标号，hat y是我的预测，下面的交叉熵公式与C可能的类数是正确的：
在二进制交叉熵的情况下，我是否可以删除C上的和，或者说C=1？
对于计算整个数据集上的损失，或者是一个M大小的小批量，我只是在和超过c之前加上1/M和，对吗？
谢谢!
浏览 8提问于2022-07-13得票数 -2
3回答
我正在Keras和这里创建一个二进制分类器；S，代码
model = Sequential()
model.add(Dense(30, input_dim=60, activation='relu'))
model.add(Dense(1, activation='sigmoid'))
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
我想知道，如果数据集的范围从0,1更改为-1
浏览 0提问于2019-08-18得票数 0
我正在做的多标签图像分类与10个类别，我有1981年的数据和标记的数据只有1000个从1981年开始。
我使用这种配置
#begin model
model = Sequential()
model.add(Conv2D(filters=16, kernel_size=(5, 5), activation="relu", input_shape=(400,400,1)))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))
model.add(Conv2D(filters=32, kernel_s
浏览 1提问于2020-07-04得票数 0
回答已采纳
1回答
我想做一个神经网络，在最后一层有一个单一的输出神经元，它告诉我图像上有一辆车的概率(概率从0到1)。
我习惯于使用tf.nn.softmax_cross_entropy_with_logits()和tf.nn.softmax()方法为具有多个输出神经元的分类问题构建神经网络。但是，当标签矩阵中的每个样本只有一列时，这些方法就不起作用了，因为softmax()方法总是返回1。
我试着用tf.nn.sigmoid()替换tf.nn.softmax()，用tf.nn.sigmoid_cross_entropy_with_logits()替换tf.nn.softmax_cross_entropy_wi
浏览 8提问于2017-12-28得票数 0
当试图用sigmoid激活函数求交叉熵时，
loss1 = -tf.reduce_sum(p*tf.log(q), 1)
loss2 = tf.reduce_sum(tf.nn.sigmoid_cross_entropy_with_logits(labels=p, logits=logit_q),1)
但当具有softmax激活函数时，它们是相同的。
以下是示例代码：
import tensorflow as tf
sess2 = tf.InteractiveSession()
p = tf.placeholder(tf.float32, shape=[None, 5])
l
浏览 2提问于2017-09-19得票数 57
1回答
我试图在Keras中实现多类分段：
输入图像为灰度(即1通道)
地面真实图像有3个通道，每个像素是一个长度为3的热矢量。
预测是标准的U-网训练用categorical_crossentropy输出3通道(软件最大编辑)
这个设置有什么问题吗？训练失败有一些奇怪的行为：
在我幸运的情况下，它的行为符合预期(下降)
90 %的时间被困在0.9左右
我的实现可以找到
我不认为代码有什么问题:如果我的基本真理是1通道(即到处都是0和某处的1)，并且使用binary_crossentropy + sigmoid作为最终的激活，我看不出有什么奇怪的行为。
浏览 2提问于2020-12-05得票数 0
我正在学习逻辑回归，我想在通过梯度下降最小化交叉熵损失函数的过程中计算它的值，但当我使用tensorflow的sigmoid_cross_entropy_with_logits函数时，我得到的结果与我自己的表达式得到的结果不同。 下面是一个示例： import numpy as np
import tensorflow as tf
pred = np.array([[0.2],[0.3],[0.4]])
test_y = np.array([[0.5],[0.6],[0.7]])
print(tf.nn.sigmoid_cross_entropy_with_logits(logits =
浏览 20提问于2021-01-05得票数 0
回答已采纳
1回答
目标
为寻求帮助，建议为什么下面的渐变下降实现不能工作。
背景
完成以下任务，实现逻辑回归。
📷
梯度下降
导出梯度下降，如图中所示。
Typo fixed as in the red in the picture.交叉熵对数损失为- \left [ylog(z) + (1-y)log(1-z) \right ]
📷
实现代码，但是它说是不正确的。
import numpy as np
def LogitRegression(arr):
# code goes here
x = arr[0]
y = arr[1]
a = arr[2]
b = arr[3]
浏览 0提问于2021-12-07得票数 3
正如提到的，对于多标签分类，交叉熵不是一个合适的损失函数。我的问题是“这一事实是否也适用于softmax的交叉熵？”如果是，它如何与文档的匹配。
我应该提一下，我的问题的范围是cntk。
浏览 20提问于2017-01-17得票数 5
回答已采纳
下面的代码有一个恼人的特点，那就是让"out“的每一行都是一样的。我试图根据它们的生成方式(通过四种随机算法之一)，将Xtrain中的k时间序列分类为1, 0, 0, 0，1，0，0，0，0，1，0，0，0，0，1，0或0，0，0，1，1。有人知道为什么吗？谢谢!
import numpy as np
import tensorflow as tf
import matplotlib.pyplot as plt
import copy
n = 100
m = 10
k = 1000
hidden_layers = 50
learning_rate = .01
training_epo
浏览 3提问于2019-01-29得票数 0
1回答
我一直在做CNN来定位图像中的硬币。美国有线电视新闻网输出一个硬币的边界框(x_min，y_min，x_max，y_max)和一些概率image_contains_coin，image_doesnt_contain_coin，coin_too_close (如果硬币离相机太近)，如果硬币脏(不干净/发亮)，输出dirty_coin。
因此，我直接使用最后nn层的mat mul的结果作为边界框输出，并且概率通过一个额外的sigmoid函数。如果图像中没有硬币，则应忽略边界框的错误和剩余的2个概率。
误差计算为边界框的均方根误差加上sigmoid/概率输出的交叉熵误差。
我想知道这(下面的代码)是
浏览 1提问于2018-02-06得票数 1
1回答
有谁能解释一下这段代码的功能吗？
、、、、
有谁能解释一下这段代码的功能吗？
embedding_vector_length = 32 model = Sequential()
model.add(Embedding(vocab_size,embedding_vector_length,
input_length=200) ) model.add(SpatialDropout1D(0.25))
model.add(LSTM(50, dropout=0.5, recurrent_dropout=0.5))
model.add(Dropout(0.2)) model.add(Dense(1, activation='sigm
浏览 4提问于2022-05-20得票数 0
我正计划使用
tf.nn.sigmoid_cross_entropy_with_logits
用于创建N个二进制分类模型。我希望这N个模型是独立的二进制模型，而不是共享权重？我能用这个函数来实现吗？
浏览 1提问于2018-02-01得票数 0
1回答
我用这个：
Python version: 3.7.7 (default, May 6 2020, 11:45:54) [MSC v.1916 64 bit (AMD64)]
TensorFlow version: 2.1.0
Eager execution: True
使用这个U-Net模型：
inputs = Input(shape=img_shape)
conv1 = Conv2D(64, (5, 5), activation='relu', padding='same', data_format="channels_last"
浏览 1提问于2020-07-07得票数 0
回答已采纳
3回答
尽管上述两种方法都提供了更好的预测贴近度得分，但交叉熵仍是首选。是在每一种情况下，还是在某些特殊的情况下，我们更喜欢交叉熵而不是MSE？
浏览 2提问于2016-04-09得票数 49
回答已采纳
2回答
我正在尝试使用Keras和Tensorflow后端来训练神经网络。我的X是我处理并转换成序列的文本描述。现在，我的y是一个稀疏矩阵，因为它是一个多标签分类，并且我有许多输出类。
>>> y
<30405x3387 sparse matrix of type '<type 'numpy.int64'>'
with 54971 stored elements in Compressed Sparse Row format>
为了训练模型，我尝试定义一个批处理生成器：
def batch_generator(x, y,
浏览 17提问于2018-12-18得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
