大数据集的多标签损失函数
是用于多标签分类任务中衡量模型预测结果与真实标签之间差异的指标。在大数据集中，每个样本可以被分配多个标签，而不仅仅是单个标签。多标签损失函数的目标是最小化模型预测与真实标签之间的差异，以提高模型的准确性和泛化能力。
多标签损失函数可以有多种形式，常见的包括二进制交叉熵损失函数、Jaccard损失函数和Hamming损失函数等。
- 二进制交叉熵损失函数（Binary Cross-Entropy Loss）：适用于每个标签之间相互独立的情况。它将每个标签的预测结果视为独立的二分类问题，并计算每个标签的交叉熵损失。公式如下：
- 其中，N表示样本数量，M表示标签数量，y_ij表示第i个样本的第j个标签的真实值（0或1），^y_ij表示模型对第i个样本的第j个标签的预测值。
- 推荐的腾讯云相关产品：腾讯云机器学习平台（https://cloud.tencent.com/product/tiia）
- Jaccard损失函数：适用于标签之间存在交叉关系的情况。Jaccard损失函数衡量预测结果与真实标签的相似度，公式如下：
- 其中，N表示样本数量，y_i表示第i个样本的真实标签集合，^y_i表示模型对第i个样本的预测标签集合。
- 推荐的腾讯云相关产品：腾讯云机器学习平台（https://cloud.tencent.com/product/tiia）
- Hamming损失函数：适用于标签之间相互独立且数量较多的情况。Hamming损失函数计算预测结果与真实标签之间的汉明距离，即预测结果与真实标签不同的标签数量。公式如下：
- 其中，N表示样本数量，M表示标签数量，y_i表示第i个样本的真实标签集合，^y_i表示模型对第i个样本的预测标签集合，⊕表示异或运算。
- 推荐的腾讯云相关产品：腾讯云机器学习平台（https://cloud.tencent.com/product/tiia）
以上是大数据集的多标签损失函数的概念、分类、优势、应用场景以及推荐的腾讯云相关产品和产品介绍链接地址。
相关·内容
此link的tensorflow教程(请参阅“训练模型”部分)表明，可以向tf.keras.model.fit提供数据集(数据、标签)。然而，当我将我的数据集分配给val_data时，如下所示，无论训练状态如何，验证数据的损失都是0 (见下图)。¨ history = model.fit(
train_ds,
validation_data=val_ds,
epochs=EPOCHS,
verbose=1,
) IMAGE: Result of training from history, the validation
浏览 53提问于2020-11-05得票数 1
3回答
多标签图像的咖啡豆
、、、
我有一个具有多个标签的图像数据集；数据集中有100个类，每个图像都有1到5个与它们相关联的标签。
我遵循以下URL中的说明：
它说，我需要生成一个文本文件，列出图像及其标签，如
/home/my_test_dir/图片-foo.jpg 0/home/my_test_dir/图片-foo1.jpg 1
在我的例子中，由于我有多个标签图像，那么简单地添加标签是否有效呢？
/home/my_test_dir/图片-foo.jpg 0 2 5/home/my_test_dir/图片-foo1.jpg 1 4
我有一种感觉，它可能不会那么简单，如果我是对的，在建立Caffe的过程中，我
浏览 7提问于2015-09-20得票数 20
回答已采纳
1回答
我的机器学习模型在很大程度上超过了训练数据，但在测试数据上仍然表现得很好。当使用神经网络方法时，每次迭代都会略微增加测试集上的精度，但会大大提高训练集上的精度(过拟合)。
在使用带有CNN架构的spacy时，这个问题得到了很好的演示，我得到了以下结果
ITER LOSS P R F TF
0 29.305 0.733 0.342 0.466 0.525
1 10.410 0.811 0.443 0.573 0.650
2 4.361 0.722 0.548 0.62
浏览 28提问于2019-11-08得票数 1
我使用Bi分类器进行多标签文本分类，这意味着11个类的数据集中有超过一个标签的实例。当我使用乙状结肠激活函数和"binary_crossentropy“损失函数时，比使用"categorical_crossentropy”损失函数的"softmax“激活函数具有更高的精度。为什么？
浏览 0提问于2022-02-14得票数 0
2回答
我正在研究多标签问题，即输出可以预测一个或多个标签作为输出，因此培训数据也有多个标签。
不知何故，我无法描绘出这样的ML模型训练。请提供以下问题的答案：
对于这类问题，损失是如何计算的？
ML模型是如何预测的？
我找到了一个旧线程多标签旧查询，但我还是无法理解解决方案。
浏览 0提问于2020-03-04得票数 0
1回答
谢谢你提前阅读了我的问题！
我一直使用CNN来使用Keras和TF对文本进行分类。我的数据是字符串“我读新闻”或“我读机器学习新闻”，我的标签是:数据科学，记者，儿童。
我的问题是，每个文本都可以附加多个标签。我应该如何构造我的目标，以便能够捕获每一个多个输出？
Description, Tag
"I read the news", Child
"I read the news", Reporter
"I read machine learning news", Data Science
"I read machine learning
浏览 0提问于2016-09-28得票数 1
回答已采纳
1回答
具有大量标签的多重分类
、、、、
我试图用一个热编码向量的大输入空间来构建一个分类器。输出应该是标签的向量，每个标签有10000个可能的标签。例如，标签可以对应如下内容：( 10级、992级、800级、23级、30级)等等。我的第一次尝试是对此输出进行热编码，结果产生了一个大小为(10000，5)的输出空间。然而，我很快发现，要有这么大的输出空间，我很容易就会超过GPU (16 my )上的内存。
问:在PyTorch中编码和实现这样一个输出空间的最佳方法是什么？
我的第一个想法是删除一个热编码，并像上面那样对输出进行编码，明显地删除单词类，这样输出将是一个5维向量(10,992,800，23，30)。但是，我不确定在这里使用
浏览 0提问于2020-07-12得票数 0
2回答
我想要建立一个多标签图像分类模型，可以检测到许多不同的标签。对于每个标签，我至少可以得到5000个正面的例子和5000个负面的例子。但是，我的问题是如何使用这种格式的数据来训练多标签图像分类器。例如，我可以下载10,000张照片，知道它们是正面的例子，但如果我也想检测到一只鞋，我不知道其中有多少张照片中可能也有一只鞋。我试图这样做一个模型，因为我将有相当多的标签，并需要不断添加新的标签。做这件事最好的方法是什么？
浏览 0提问于2019-08-21得票数 1
1回答
我正在研究图像的多标签分类问题。我有5个类，我使用乙状结肠进行最后一层的分类。我有多标签问题造成的不平衡数据，我想我可以使用：
tf.nn.weighted_cross_entropy_with_logits( labels, logits, pos_weight, name=None)
然而，我不知道如何从我的模型中获得日志。我还认为我不应该在最后一层使用sigmoid，因为这个丢失函数将sigmoid应用于logit。
浏览 5提问于2022-07-23得票数 0
3回答
一种多标签分类模型的评价
、、、、
我目前有一个多标签的分类问题，我正在使用keras构建一个神经网络，如下所示：
n_cols = dataset.shape[1]
print(n_cols)
model = Sequential()
model.add(Dense(128, activation='relu', input_shape=(n_cols,)))
model.add(Dense(64, activation='relu'))
model.add(Dense(26, activation='sigmoid')) # Sigmoid for multi-label c
浏览 0提问于2020-07-16得票数 0
回答已采纳
1回答
我正在尝试使用'inception resnet v2.py'进行多标签分类。 我用了乙状结肠，但效果不好。 你知道在哪里换车吗？ https://github.com/tensorflow/models/tree/master/research/slim "train_image_classifier.py"已更改为sigmoid，但效果与使用softmax一样好。 我必须将它从"net“文件夹中的"inception resnet v2.py"更改吗？ if 'AuxLogits' in end_points:
浏览 18提问于2019-05-07得票数 1
我正在训练一个多标签分类模型来检测衣服的属性。我在Keras中使用迁移学习，重新训练vgg-19模型的最后几层。
属性的总数是1000，其中大约99%是0。准确率、精确度、召回率等指标都失败了，因为模型可以预测全零，但仍然可以获得非常高的分数。二进制交叉熵、汉明损失等在损失函数的情况下不起作用。
我使用的是深度时尚数据集。
那么，我可以使用哪些指标和损失函数来正确地测量我的模型呢？
浏览 1提问于2019-12-15得票数 12
在python中，我使用随机梯度下降来执行多类分类，以最小化日志损失函数。
clf = SGDClassifier(loss="log", penalty="l2")
当我对测试集执行交叉验证时，对于数据的每次分割，我计算：
score = clf.fit(X_train, y_train).score(X_test, y_test)
是评价损失函数的分数？
对于每一个交叉验证分割，我的分数总是0.0。那么，这是否意味着我的分类器正确地标记了我的测试数据，还是意味着我的准确率很低？
浏览 5提问于2015-10-20得票数 3
回答已采纳
2回答
我试图在Pascal 2012数据集上对VGG-16进行培训，该数据集有20个标签的图像(给定的图像可以有多个类)。这些例子是高度不平衡的，所以我已经“平衡”了它们，使得每个标签在培训集中的表示大致相等。
但这意味着，对于每个标签，5%的总图像是积极的例子和95%的阴性样本。没有办法实现对所有班级的50/50的分割。
我在最后的VGG层使用二进制交叉熵损失和sigmoid激活，因为这是一个多标签问题。二进制的准确性看起来很高，但是实际上，对于任何给定的类，结果都是相当令人沮丧的(大约15%的回忆)。该分类器不适合于正示例，而且偏向于报告负结果，因为这与数据分布相匹配(非常少的阳性样本)。
在这
浏览 0提问于2020-07-20得票数 1
1回答
我对目标探测很陌生。我正在使用tensorflow对象检测API，现在我正在为我的项目和model_main.py收集数据集来训练我的模型。
我发现并转换了两个相当大的汽车和交通灯数据集，并给出了注释。从他们那里做了两张And记录。
现在我想训练一个经过预先训练的模特，但我只是好奇它会起作用吗？当图像(例如"001.jpg“)有可能有一些带有注释的汽车边框(来自汽车数据集)时，但是如果有交通灯，它也不会被标注为->，这会导致糟糕的学习速度吗？(可能有很多“有问题的”图像)我该如何改进？有什么解决办法吗？(我真的不想再给图像加注解了)
如果它愚蠢的问题，我很抱歉，感谢任何答复-一些
浏览 0提问于2019-02-17得票数 0
回答已采纳
3回答
我正在寻找一个解决方案，以检测不同的情绪/风格所表达的图像。不幸的是，这个任务没有多标记的数据集.
基于单一标签数据定义多标签分类模型的场景在我看来并不太荒谬，但我仍然找不到任何解决这个问题的出版物或其他来源。
因此，我非常感谢任何关于如何处理这种情况的提示(例如，从可用的单标签数据集中以弱监督的方式派生多标记数据集)。
浏览 0提问于2019-12-17得票数 4
回答已采纳
1回答
多标签文本分类
、、、
我用卷积神经网络进行文本分类。我在我的项目中使用了健康文档(ICD-9-CM代码)，我使用了与相同的模型，但是我的数据有36个标签。我使用one_hot编码来编码我的标签。
这是我的问题，当我运行每个文档都有一个标签的数据时，我的代码的准确性是完美的，从0.8到1。如果我运行的数据有多个标签，那么准确性就会大大降低。
例如:文档只有一个标签为"782.0"：[0 0 1 0 ... 0]，
文档有多个标签为"782.0 V13.09 593.5"：[1 0 1 0 ... 1]。
有人能提出为什么会发生这种情况，以及如何改进吗？
浏览 2提问于2016-09-14得票数 1
回答已采纳
我最近在处理这个https://www.kaggle.com/gti-upm/leapgestrecog数据集。这是一个手势数据集，我正在尝试做一个分类器。由于图像在不同类型的文件夹中可用，我制作了我的on data loader。就是这里 class DatasetLoader(Dataset):
def __init__(self,path):
self.path_list = path
self.labels = []
self.to_tensor = transforms.ToTensor()
self.resize = transforms.R
浏览 13提问于2020-04-01得票数 0
3回答
我使用SimpleTranformers来训练和评估一个模型。
由于我使用的数据集严重不平衡，建议为每个标签分配权重。给出了SimpleTranformers权值分配的一个实例，即这里。
然而，我的问题是:我应该如何为每一节课选择合适的权重呢？是否有具体的方法，例如使用标签比率的公式？
后续问题:同一数据集的权重是否“通用”？也就是说，如果我使用一个完全不同的模型，我是否可以使用相同的权重，或者应该根据模型分配不同的权重。
p.s.1.如果有什么不同，我使用的是roBERTa。
第2页。有一个类似的问题这里，但是，我认为我的问题不是重复的，因为( a)所附的问题是关于Keras的问题，我的问题
浏览 0提问于2020-07-21得票数 2
我尝试了不同的方法，如multinomialNB，支持向量机，MLPClassifier，CNN以及LSTM网络，来训练由推文和标签组成的数据集(五大类-开放，认真，外向，随和，神经质)。但即使使用word2vec，NRC特征和MRC特征，准确率也在60%左右。我能做些什么来提高准确性吗？
浏览 0提问于2018-06-15得票数 0
3回答
任务：
我有一个包含职务和描述的数据集。任务是根据职务名称和描述来预测职务标记。
每个职务公告有几个标签。因此，该模型的标签数量将以数万个为单位。
职位公告数目= 78042
唯一类数(标签)= 1369
📷
📷
问题：
你能告诉我神经网络的工作类型(在Keras中是可取的)吗？
或者你知道如何用经典的机器学习算法来解决这个问题？
不过，我将非常感谢链接到文章，其中类似的问题得到解决。
浏览 0提问于2018-08-20得票数 9
回答已采纳
1回答
我正在尝试使用卷积神经网络进行多类多标签图像分类。
对于训练过程，我计划使用one-hot标签来准备我的标签。例如，总共有8个类别，样本图像可以分为类别2、类别4和类别6。
[0 1 0 1 0 1 0 0]
然而，我目前所依赖的模型的输入管道不接受具有多个标签的训练数据。我的同事建议复制训练数据，而不是修改模型的输入管道。使用前面的示例，不是向一个训练数据提供3个标签，而是提供三个重复的训练数据，每个数据都有一个标签。这三个标签看起来像
[0 1 0 0 0 0 0 0]
[0 0 0 1 0 0 0 0]
[0 0 0 0 0 1 0 0]
如果有足够的训练数据，模型是否能够学会更多地
浏览 1提问于2017-09-26得票数 1
1回答
深入理解学习率
、、、、
我正在努力理解为什么学习率不能普遍发挥作用。我有两个不同的数据集，并测试了三个学习率0.001 ,0.01和0.1。对于第一个数据集，我能够通过使用随机梯度下降来实现所有学习速率的优化结果。
对于第二个数据集，学习速率0.1没有收敛。我理解其背后的逻辑，超越梯度，然而，我没有理解为什么这是一个数据集，而不是另一个？我无法在网上找到更多关于这方面的信息，但有人告诉我，这是由于数据的形状，可能需要对数据有更深入的洞察。
如果有任何相关的文献可阅读，将不胜感激。
浏览 0提问于2022-04-04得票数 1
2回答
我正在研究一个神经网络int，它可以预测游戏中给定数据的胜率、平局率、输球率。我提供的标签总是{1，0，0}，{0，1，0}或{0，0，1}。在一些历法之后，我的准确度没有进一步提高，但在许多时期(也是在验证集上，虽然速度很慢)，损失仍在减少。我在最后一层使用一个softmax激活和Keras提供的分类交叉熵损失函数。我想知道，在这种情况下，较低的损失是否总是对应于更好的概率(因为我显然不希望网络只输出像概率1或0这样的值)，或者换句话说，这个净额输出“真”概率吗?如果是的话，它为什么要这样做？
浏览 0提问于2020-07-02得票数 1
回答已采纳
1回答
我有至少70%的标签不正确的数据集。
我希望错误的标签会互相补偿，而真正的标签将被正确地教授(给定一个非常大的数据集)。
例如，如果有300个样本表示a => -1，300个样本表示a => 1，输入"a“的结果最终将为0(对于回归问题)。
如果我在上面的例子中使用Adam，它会不会因为它的适应性而影响带有噪声标签的输入的结果？它不是更好地使用SGD和衰减学习率，或者亚当只是在每个时代结束时才改变其权重吗？
浏览 0提问于2020-07-23得票数 1
回答已采纳
2回答
我正在构建一个二进制分类器，它最终总是在一定数量的时代之后预测所有"0“或"1”，我正在寻找为什么/如何继续进行的可能原因。
以下是我的方法和想法的更多细节：
我正在做的事情:我正在建立一个二进制分类，基本的前馈神经网络的信号处理与tensorflow。
我通过将数据分割成长度window_size点(比如50)的“窗口”来预处理数据，该窗口/示例可以被认为是"1“(正数)或"0”(负数)。正式的、手工标注的标签位于特定点(例如403、875、1450等)。而且间隔相对均匀。如果窗口包含一个标签，我决定我的示例/窗口是正的，否则是否定的。通过某些stride_l
浏览 0提问于2017-06-23得票数 7
因此，我有一些带注释的图像，我想用来训练二值图像分类器，但我一直存在创建数据集和实际获得测试模型的问题。每个图像要么属于某个类，要么不属于某个类，因此我希望使用PyTorch建立一个二进制分类数据集/模型。我有一些问题：
标签是浮动的还是长的？
我的标签应该是什么形状？
我使用的是火炬视觉模型中的resnet18类，最终的softmax层应该有一两个输出吗？
如果我的批次大小是200，那么在训练期间，我的目标应该是什么形状？
我的输出应该是什么形状？
提前感谢
报价删除
浏览 11提问于2021-03-01得票数 1
回答已采纳
1回答
我是深度学习和Keras的新手。我已经创建了一个模型，它在美国手语(American Sign Language)数据集上进行训练，拥有近80,000张训练图像和1500张测试图像。我还添加了一些更多的类。手写数字从0到9。因此，我总共有39个类(0-9和A-Z)。我的任务是训练这个数据集，并将其用于预测。我的预测输入将是网络摄像头中的一帧，我将在其中显示手势。
我的Keras模型
classifier = Sequential()
classifier.add(Conv2D(32, (3, 3), input_shape = (100, 100, 3), activation = '
浏览 9提问于2020-02-12得票数 0
1回答
多标签分类方案:如何提高不良性能
、、、、
Contextualization
我正在建立一个模型，在一个给定的图像中识别三个类别。
有三大类：
性别:男性/女性
采购产品类型:开拓者，开拓者和夹克，衬衫，羊毛衫，外套，外套，裁缝衫，连衣裙，牛仔裤，毛衣，连衣裙和Dungarees，针织衫和运动衫，紧身裤和雪茄，孕妇，马球，Pololong，衬衫，短裤，裙子，西装，泳装，泳装和海滩服，T恤衫，T恤和拖鞋，裤子，上衣。
颜色:米色，黑色，蓝色，棕色，绿色，灰色，橙色，粉红色，红色，白色，黄色。
换句话说，每个图像应该有这三个类别(每个类别一个值)。
数据
用于培训的数据库--我的模型--由1812映像和一个excel文
浏览 0提问于2018-04-17得票数 1
1回答
我正在训练各种CNN (AlexNet，InceptionV3和ResNet)。该数据集由游戏的屏幕截图和一个由4个类组成的数组组成，它们表示给定捕获的输入为w、a、s、d。
为了减少我需要收集的数据，我研究了使用出现频率较低的类进行镜像捕获。例如，如果我镜像一个左转捕获，我也会更改标签，使0,1,0,0将变成0,0,0,1。我不确定镜像是否会工作，因为原始图像左下角的小地图包含GPS路径。
我还没训练过模特呢。
我正在通过opencv镜像图像和调整标签：
if choice[1]:
new_choice[1] = 0
new_choice[3] = 1
if choice[3
浏览 1提问于2019-04-25得票数 0
回答已采纳
2回答
对于使用softmax分类器进行分类的一个简单问题(C类)，大多数人使用交叉熵损失函数来量化目标。交叉熵损失是：
$$L = -\sum_{i=1}^C y_ilog(p_i)$$
其中$p_i$是分类器的预测分数，$y_i$是地面真值标签.为了更新参数，采用梯度下降的方法使$p_i$的分布尽可能接近$y_i$的分布。假设对于空间中的任意点( $x_i$ )，我们有基本真理标签$y_i =$，这意味着对于$C=3$类问题，$x_i$属于0类。假设softmax分类器在第一次迭代中预测为$p_i =$。在优化具有梯度下降的$L$时，预测会发生如下变化：
.$p_i =$
.$p_i =$
.$p
浏览 0提问于2018-07-10得票数 2
回答已采纳
2回答
我正在尝试使用Keras和Tensorflow后端来训练神经网络。我的X是我处理并转换成序列的文本描述。现在，我的y是一个稀疏矩阵，因为它是一个多标签分类，并且我有许多输出类。
>>> y
<30405x3387 sparse matrix of type '<type 'numpy.int64'>'
with 54971 stored elements in Compressed Sparse Row format>
为了训练模型，我尝试定义一个批处理生成器：
def batch_generator(x, y,
浏览 17提问于2018-12-18得票数 1
回答已采纳
1回答
基于稀疏标签的AI分类技术
、、、、
我想要创建一个AI来用大量的标签(1000+标签)对图像进行分类。然而，数据集中的标签是正确的，但每个图像没有完全标签。这意味着每个图像的标签都是正确的，但不完整。
例如，图像可能只有A类、B类和C类的标签，但也适合标签D和E。这意味着图像可能适合标签，尽管没有正确地分配它们。
我需要一个AI/培训方法，通过给予更多的权重来呈现标签，减少对不存在的标签的权重，从而解释这些不准确的地方。
有办法这样做吗？
浏览 0提问于2022-06-14得票数 1
1回答
如果我正在建立一个模型，我需要预测车辆，颜色，和它的构成，那么我可以使用所有的标签为一个单一的图像，并建立我的模型围绕它。
就像一辆汽车的单一图像(car1.jpg)一样，它会有像-轿车(制造)、蓝色(颜色)和汽车(车辆类型)这样的标签。我可以为这个问题做一个单独的模型吗?或者我必须为这个问题建立三个独立的模型。
浏览 0提问于2019-12-13得票数 0
回答已采纳
2回答
多标签分类神经网络，任意一个标签
、、、、
我试图建立一个神经网络，其中假设我有3个输出标签(A，B，C)。
现在我的数据包括两个标签可以是1的行，像A和B是1，C是0。现在我想训练我的神经网络，使它能够预测A或B。我不希望它被训练成A和B都有很高的概率(就像多标号问题)，我只想要其中的一个。
这样做的原因是，A和B中有1的行更像是不关心预测A或B都是正确的行。因此，我不希望神经网络在试图同时预测A和B的情况下找到极小值。
有可能像这样训练神经网络吗？
浏览 1提问于2018-04-12得票数 0
回答已采纳
我开发了一个简单的自动编码器，为了找到正确的参数，我在一小部分数据集上使用网格搜索。输出中的历元数可以用在高维训练集上？历元数取决于数据集的维数？还是不想？例如，我在一个大维度的数据集中有更多的历元，而对于一个小的数据集，有更少的历元。
浏览 1提问于2019-06-21得票数 0
回答已采纳
我需要一些机器学习词汇的建议。
你把经过训练的模型在生产中获得的输入数据称为什么？
我知道它在培训过程中得到的标签数据或未标签数据称为training set或training data。
当它准备好后，经过初步的培训，您可以在生产中部署它来解决实际问题。您如何调用模型在这一点上接收的输入数据？
浏览 0提问于2019-05-20得票数 0
我有128个批次大小和大约1000万个数据大小，我将在4个不同的标签值之间进行分类。
如果每批只包含一个标签的数据，会有多大的问题？
例如，批处理0都有第三个标签。第一批都有第一批。第二批。等。
浏览 0提问于2020-07-01得票数 2
回答已采纳
2回答
我有一个被多人标记的tweet数据集。因此，这些列看起来像：
Tweet_ID、Coder_1_Classification、Coder_2_Classification等。
这个想法是建立一个基于标签的推特分类器。如何将这些数据输入到分类器中？我正在考虑采取多元化的回应，但有什么办法我可以使用所有的数据吗？
另外，也有部分报道，所以并不是每条推文都贴上标签。
浏览 0提问于2019-11-18得票数 1
1回答
我有一个大的数据集(40百万行，50列)，其中大部分是分类列(有些是数字的)，我使用Python/Pandas。分类栏有多达3000个独特的标签。
我正在寻找关于如何处理这个问题的最佳实践。显然，单热编码(OHE)是不可能的。我试着做了较小数量的分类，并以这种方式做OHE，但模型是非常糟糕的，许多信息正在丢失。此外，记忆是一个问题，一切都需要很长时间。
在这种情况下，我应该对数据进行抽样吗？如果是这样的话，是怎么做的？分类列相互依赖，它们是嵌套的。标签编码和其他编码器也没有显示出良好的效果。我已经尝试过CatBoost Regressor和其他类似于树的模型。从数据可视化、特征工程取样、建模开
浏览 0提问于2022-03-21得票数 0
1回答
我正在进行卫星数据方面的培训。由于数据中的类分布极不均衡，因此本文采用随机多数欠采样的方法对神经网络进行训练，人为地平衡了每个班的训练样本数。在验证过程中，我不以任何方式对数据进行重采样。
📷
📷
在上面的图表中，橙色是训练的表现，蓝色是验证。验证精度和损失值比训练精度和损失大得多。即使训练正确率在90%左右，验证精度在某一时间点甚至达到0.2%。为什么验证指标波动得很厉害，而训练指标却保持相当恒定？
关于模型/数据的一些补充资料：
我用U网模型将卫星图像分割成三个土地覆盖类别。与原论文相比，U网模型在每一层的滤波器数只有原来的一半，在每次卷积后和激活之前，我都采用批归一化。该模型使用带有初始
浏览 0提问于2020-08-31得票数 1
1回答
我在SAS中有一个非常大的数据集(> 600万行)。为了这个目的，我正在使用R中的“港湾”库中的"read_sas“。
但是，由于其非常大的大小，我想将数据分成子集(例如，每个子集有500000行)，然后将每个子集读入R中，我想知道是否有可能解决这个问题。任何输入都是非常感谢的！
浏览 3提问于2021-05-24得票数 2
回答已采纳
3回答
我是对两类图像进行聚类，但为了实验的目的，我不知道标签，即这是一个unsupervised问题。通过correlation heatmaps和其他实验，我相信我的图像是高度相关的，至少通过一个Pearson correlation coefficient。然而，在我的问题中，我面临着非常大的不平衡数据集，因此，当不平衡传递到10:1周围的比率时，我的分层聚集聚类就失败了。
我不知道其他的解决办法。我尝试过通过PCA降低维数，但这并没有帮助。
浏览 0提问于2019-06-08得票数 2
2回答
是否有可用于多类多标签分类的评估指标？例如，我参加了kaggle的以下比赛，它需要ROC AUC作为评估指标。：
使用sklearn可以做到这一点吗？
浏览 3提问于2013-08-07得票数 0
2回答
CNN的准确率很低
、、、、
我正在学习神经网络，并试图从零开始建立自己的CNN模型。目前，我正在研究斯坦福狗数据集和20000张照片。我已经做了一个模型，而且成本已经很低了。但准确度很低，虽然我不明白原因。
在这里，我做数据增强：
import os
import time
import zipfile
import pandas as pd
import tensorflow as tf
from tensorflow import keras # Tensorflow high-level api
from tensorflow.keras import layers
from keras import optim
浏览 2提问于2020-06-21得票数 0
1回答
基于DNN的多标号预测
、、、
我试图预测给定文本的几个标签。它适用于单个标签，但我不知道如何实现多标签预测的置信度。
我有以下非正态化格式的数据：
┌────┬──────────┬────────┐
│ id │ Topic │ Text │
├────┼──────────┼────────┤
│ 1 │ Apples │ FooBar │
│ 1 │ Oranges │ FooBar │
│ 1 │ Kiwis │ FooBar │
│ 2 │ Potatoes │ BazBak │
│ 3 │ Carrot │ BalBan │
└────┴──────────┴────────
浏览 3提问于2018-01-22得票数 1
回答已采纳
我正在做一个处理传感器数据的项目。我从3个地方收集了传感器数据，并将数据存储为csv文件。大约有4000个样本。数据有X、Y、Z，我使用它们作为特征，class是我的目标变量。目标是在数据集上构建分类模型。目标变量/标签是1,2,3。因为它是时间序列数据，所以我选择使用双向LSTM。
数据分布：
model = keras.Sequential()
model.add(
keras.layers.Bidirectional(
keras.layers.LSTM(
units = 128,
input_shape = [X_train.shape[1],
浏览 0提问于2020-08-17得票数 1
2回答
在研究多任务学习的损失函数时，我有点迷失了方向。
例如，在只有一个任务的二进制分类中，例如将电子邮件分类为垃圾邮件或非垃圾邮件，使用softmax激活+ softmax_crossentropy损失函数，每个标签(垃圾邮件/非垃圾邮件)的概率总和将为1。如何将其应用于多任务学习？
让我们考虑一下有5个任务的情况，每个任务都是一个二元问题。softmax函数是独立地应用于每个任务(例如，对于任务1:标签1的概率= 0.7和标签2= 0.3；对于任务2:标签1的概率= 0.2和标签2= 0.8，依此类推)还是联合考虑任务(例如，如果任务1的标签1的概率为0.80，则所有其他任务的所有其他标签的和将
浏览 1提问于2019-05-26得票数 1
1回答
假设我有我想要用于监督学习的数据，但是目标/类/标签不平衡的情况非常严重。我是否应该：
限制训练集的大小，以确保有一个平坦的目标/类平衡分布(训练集的设计使得每个类的训练样本数目相等，其基础是尽可能高地分割最低出现的类)。例如，如果我的最低级别的课程在我的数据中只出现了50次，而我想要一个80到20次的列车测试分割，那么我决定接受40个样本进行训练，为了达到均衡的目标平衡，在训练中为所有其他样本抽取40个样本，例如，即使最高发的类出现100,000次。
忽略目标平衡，只需专注于列车和测试分割的比例。所以，如果是80-20，从50个样本中拿出40个样本给我出现的最低的班级，以及我最高的班级的10
浏览 0提问于2021-12-05得票数 1
对于分类或回归问题，如果
'X‘是大小为m×n的输入矩阵，'Y’是大小为m×k的预期输出/标签矩阵。
然后我需要一个数据集，其中k >= n。(如果可能的话，'Y‘应该是一个高密度标签)
这就是标签/输出的数量超过输入特征空间的地方。你能给我推荐一个这样的数据集吗？
致以敬意，
浏览 3提问于2015-04-16得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
