有偏数据集的VGG16验证准确率较低
是指在使用VGG16模型进行验证时，由于训练数据集存在偏差或不平衡，导致模型的准确率较低。
VGG16是一种经典的卷积神经网络模型，常用于图像分类任务。它由多个卷积层和全连接层组成，具有较强的特征提取能力。然而，当训练数据集存在偏差时，模型可能无法很好地适应这种偏差，从而导致验证准确率下降。
解决这个问题的方法之一是使用数据增强技术。数据增强可以通过对训练数据进行随机变换、旋转、缩放等操作，生成更多样化的训练样本，从而减轻数据集的偏差。腾讯云的图像增强服务（https://cloud.tencent.com/product/ie）可以帮助用户实现数据增强。
另外，针对有偏数据集，还可以尝试使用迁移学习的方法。迁移学习可以利用在大规模数据集上预训练的模型权重，将其应用于特定任务的训练中。腾讯云的迁移学习平台（https://cloud.tencent.com/product/mls）提供了丰富的预训练模型和工具，可以帮助用户快速构建和训练自己的模型。
此外，还可以考虑使用其他模型或算法来解决有偏数据集的问题。例如，可以尝试使用ResNet、Inception等其他经典的卷积神经网络模型，或者使用集成学习方法如随机森林、Boosting等。
总结起来，解决有偏数据集的VGG16验证准确率较低的问题，可以采用以下方法：
- 数据增强：使用腾讯云的图像增强服务进行数据增强，生成更多样化的训练样本。
- 迁移学习：利用腾讯云的迁移学习平台，使用预训练模型进行迁移学习。
- 尝试其他模型或算法：使用其他经典的卷积神经网络模型如ResNet、Inception，或者使用集成学习方法如随机森林、Boosting等。
以上是针对有偏数据集的VGG16验证准确率较低问题的解决方案和建议。希望对您有帮助！
相关·内容
1回答
我正在尝试对图像进行情感分析。我有4节课--很好笑，不好笑。我尝试了像VGG16/19 densenet201这样的预训练模型，但我的模型过于拟合，训练准确率超过95%，测试精度约为30 %。有人能给我建议吗?我还能尝试什么？训练图像- 6K
浏览 0提问于2020-03-02得票数 0
我有一个问题，我的单一深度神经网络模型对一个数据集的准确率在90%以上，对另一个数据集的准确率在70-80%之间。我想知道，尽管我使用的是同样深层次的神经网络模型，但为什么精度会发生这种变化。
浏览 0提问于2018-09-05得票数 1
我正在使用Sci Kit学习一个分类问题，并且困惑于如何正确地调优超参数以获得“最佳”模型。
Before任何调整，我的logistic回归分类器对测试集的准确率为74.6%。
为了为我的最终模型选择最优的参数，我用一个参数网格来拟合一个GridSearchCV对象-- to --我的训练数据，其中包含了Sci Kit学习的LogisticRegression分类器的默认参数。
我所拟合的GridSearchCV模型的CV精度为76.5%，表明该模型将比未调优模型具有更高的精度。
When --我在测试集上拟合并评估了调优模型，我的准确率为73%。
这是让我感到困惑的部分。我知道CV的结果应该
浏览 0提问于2023-02-21得票数 0
我优化了一个knn算法在滑雪板上的网格搜索。然而，我对训练数据的准确性下降了1%，交叉验证的准确率提高了0.7%。在网格搜索之后，模型更好吗？
浏览 0提问于2022-08-14得票数 1
1回答
如何对不同方向的图像进行分类？
、、、、
我一直在开发一个数据集，其中的目标是确定哪种类型的定向。这是一个分类问题，在每一个记录(对他们中的大多数)，我有4个图像-正面，左，右和后面对产品图像。我想把这些图像分类在上面的四个类别。数据集如下所示：
我已经下载了这些图片，并根据它们的类别将它们放在不同的文件夹中。
我应用的方法：
到目前为止，我已经用了两种方法对这些图像进行分类。
1)我曾尝试过vgg16直接对图像进行分类，但它甚至不能给我50%的准确率。
2)我将这些图像转换为具有黑色背景的边缘图像如下：
这是使用精明的边缘检测。之所以这样做，是因为我得到了颜色相似的衣服、设计相似的衣服等的图片。在这些照片上，我再次应用了vg
浏览 9提问于2020-02-17得票数 0
1回答
深度学习中的数据增强
、、、、
我正在为人脸识别做一个深入的学习项目。我使用的是预先训练过的模型VGG16。
数据集大约有100个类，每个类有80个图像。我把数据集分成60%的训练，20%的验证，20%的测试。我使用数据增强(ImageDataGenerator())来增加训练数据。
当我更改ImageDataGenerator()参数时，模型给出了不同的结果。见以下案例：
Case1:
train_datagen = ImageDataGenerator(
rotation_range=15,
width_shift_range=0.2,
height_shift_range=0.2,
s
浏览 0提问于2018-09-16得票数 3
回答已采纳
1回答
验证和测试的准确性差别很大
、、、、
我目前正在处理kaggle中的一个数据集。在训练了训练数据的模型后，我在验证数据上对其进行了测试，得到了0.49左右的准确率。
然而，相同的模型在测试数据上的准确率为0.05。
我使用神经网络作为我的模型
那么，发生这种情况的可能原因是什么，以及如何开始检查和纠正这些问题？
浏览 3提问于2018-02-10得票数 10
回答已采纳
1回答
我正在训练如何在自定义数据集中使用YOLOv4进行人类检测。我使用以下命令训练数据集：
!./darknet detector train data/obj.data cfg/custom-yolov4-detector.cfg yolov4.conv.137 -dont_show -map
在培训结束时，它给出了这个图表：
验证最多给出97%的准确率。但当我观察测试数据时，它在视频记录中提供了大约80%的准确率。它是不是太合适了？我该如何解决这个问题？我认为图表中的准确性应该越来越高。
浏览 20提问于2021-04-12得票数 0
2回答
我正在训练一个带有dropout的神经网络。当我将dropout从0.9减少到0.7时，训练数据数据的损失(交叉验证误差)也会减少。我还注意到，当我减少dropout参数时，准确率会增加。
这对我来说似乎很奇怪。这有意义吗？
浏览 3提问于2019-11-26得票数 2
2回答
原创博文声称，使用预先训练过的单词嵌入(glve.6B.100d)，只需使用两个时代就可以在验证集(20个新闻组数据集)上获得95%的准确性。所有代码都位于这里。在这个例子中，我没有改变任何东西，但是在两个历元之后，验证集的准确率只有40%，在10个历元之后，只有75%的准确率。即使在20年代之后，我也不能达到95%的准确度。从tensorflow切换到theano后端不会有任何重大变化。我使用的是Keras 2.0.2，tensorflow-gpu 1.0.1，theano 0.9.0，python 2.7.12。我做错什么了？
浏览 0提问于2017-03-26得票数 1
回答已采纳
我正在使用一个使用预先训练的'VGGFace‘权重的微调VGG16模型来处理野外标记的人脸(LFW数据集)。问题是，在训练了一个时期(大约0.0037%)之后，我得到的准确率非常低，也就是说，模型根本没有学习。 我认为它一定与我的架构有关。我的架构是这样的： vgg_x = VGGFace(model = 'vgg16', weights = 'vggface', input_shape = (224,224,3), include_top = False)
last_layer = vgg_x.get_layer('pool5').o
浏览 26提问于2019-01-23得票数 2
回答已采纳
1回答
我正在训练一个yolov5模型，我有一个数据集，但是我无法理解验证和测试数据之间的区别。我应该分割我的数据集来训练/测试/val还是仅仅是训练/测试？
浏览 11提问于2022-02-13得票数 1
回答已采纳
我正在尝试将内置的VGG16 Keras模型应用于数据集。
然而，我得到了52%的准确率，这只比完全危险好不了多少。
你知道为什么会这样吗？
Vlad
浏览 0提问于2017-02-01得票数 0
3回答
图像多类分类器CNN
、、、、
我有一个问题，我设计了一个多类分类器来对医学图像进行分类，我必须对每种疾病的等级进行分类，这是6个等级，每次关节变形有点小，所以，mi原始数据集就没有变化，每个类都有大约16到200个图像非常类似于一些微小的变化，所以我对图像做了一些对比和翻转，每类图像有大约500个图像，我使用vgg16架构来训练模型，但是，它不能工作30%，我用2层卷积做了一个简单的模型，我有大约70%的准确率，但我的召回率很低，比如0.001到0.3，当我用图像预测时，所有的图像都是错误的类，我不知道如何纠正我的模型、使用其他度量标准或这种类型的图像的某种体系结构?这是代码https://github.com/Franc
浏览 0提问于2020-08-19得票数 0
回答已采纳
1回答
我正在使用InceptionV3模型进行培训。下面是代码(https://github.com/maxmelnick/tensorflow/blob/no_随机/tensorflow/示例/图像_再培训/再培训)的链接，最初我有一个小的数据集。因此，我使用了增强技术来增加数据集的大小。
培训阶段数据集分为培训、验证和测试。在训练阶段，11个班的准确率为96%。但当我预测任何新的输入图像(未见数据)时，它的准确率为56%。模型有什么问题？
我已经使用了Dropout，交叉验证，OverSampling技术，但在新的输入图像上没有取得好的效果。
训练时使用的参数。
训练样本-每班800张图片
培训
浏览 0提问于2020-09-01得票数 1
1回答
我对训练一系列图像和对象检测模型很感兴趣，我想知道何时使用像VGG16这样的网络的预训练权重的一般规则是什么。
例如，很明显，微调预先训练好的VGG16 imagenet模型权重对您正在寻找子集ie很有帮助。猫和狗。
然而，对于我来说，如果你正在训练一个有300个类的图像分类器，其中只有一些是预训练模型中的类的子集，那么使用这些预训练的权重是否是一个好主意就不太清楚了。
围绕这一点的直觉是什么？
浏览 36提问于2017-08-06得票数 1
回答已采纳
我正在从事一个数据科学项目，该项目是一个预测进口产品是否伪造的模型。我有一个训练数据库，我的模型之一达到了92-93%的准确率，但是在51%的测试数据库中，它的准确率只有83-85%。
另一方面，经过几次修改，我在训练数据库中获得了大约90%的准确率，但在测试数据库中获得了91%左右的准确率。
早些时候，我担心我可能会得到一个更高的精度，因为我可能是过分适应，但现在我担心，因为我的测试集的准确性高于我的火车组(不应该是这样)。有人能帮我解释一下我在这件事上应该采取什么措施吗?这里可能发生什么事？因为我只能提交最后一个模型。
在这两种情况下，我使用的分类器都是相同的(KNN和GridSearch
浏览 13提问于2022-06-05得票数 0
1回答
我正在做糖尿病视网膜病变的图像分类任务，用眼底图像数据。有5门课。数据分布为1805幅图像(1级)、370幅图像(2级)、999幅图像(3级)、193幅图像(4级)、295幅图像(5级)。下面是我尝试运行的步骤：
预处理(调整224 *224)列车与试验数据的间隔为85%：15%
x_train, xtest, y_train, ytest = train_test_split(
x_train, y_train,
test_size = 0.15,
random_state=SEED,
stratify = y_train
)
数据集成
ImageData
浏览 2提问于2021-03-15得票数 0
我正在做情绪分析。最近在这一领域的论文进行了主题独立的k-折叠交叉验证。但我还没有看到任何使用验证集的论文。他们只提到了训练集和测试集。例如，在10个交叉验证中，整个数据集被分成10个独立于主题的集合(sub1只会出现在一个集合中，而不会出现在另一个集合中)。如果我们只在训练和测试中划分数据集，那么超参数将如何调整。最终的准确率是多少，因为我的val准确率是变化的(1%-4%)，而训练准确率达到99.99%。
浏览 29提问于2018-12-18得票数 0
我的验证准确率达到了100%，几乎停留在过去的100个时期左右。而训练准确率在98%到99%之间。我使用的是具有2个隐藏层的神经网络。这是一个多类分类问题。 训练数据的大小为777385，验证率为20%。 代码： model_Lrelu_3L3N = Sequential()
model_Lrelu_3L3N.add(Dense(3, input_dim=49, activation='linear'))
model_Lrelu_3L3N.add(LeakyReLU(alpha=.01))
model_Lrelu_3L3N.add(Dense(3,input_dim = 5,
浏览 46提问于2019-06-18得票数 0
回答已采纳
1回答
所以我有一组数据，1900行，22列。21列只是数字，但我想要训练数据的关键有3个阶段: a，b和c。
我已经尝试了决策树/丛林和神经网络，无论我如何设置它们，我都无法获得超过55%的精度。
通常它的准确率在50%左右，我所能得到的最好的结果是55%的总体准确率和大约70%的平均准确率。
我应该在这么小的数据集上使用NN吗？正如我所说的，我尝试了其他ML算法，但它们并没有产生更好的结果。
浏览 0提问于2016-05-03得票数 0
1回答
我有三节课。(50k用于训练，12k用于验证)通过使用预训练的vgg16和resnet50，并冻结模型，仅在顶部训练密集层，我达到了99%的验证准确率。我应该通过解冻图层来优化功能，还是应该按原样使用这些功能？另外，vgg16是一个比Resnet50更好的特征提取器，还是我应该使用Resnet的功能？谢谢!
浏览 17提问于2017-08-08得票数 0
2回答
准确率保持在50%的Keras
、、、、
代码
import numpy as np
from keras.preprocessing.image import ImageDataGenerator
from keras.models import Sequential,Model
from keras.layers import Dropout, Flatten, Dense,Input
from keras import applications
from keras.preprocessing import image
from keras import backend as K
K.set_image_dim_ordering
浏览 0提问于2018-07-29得票数 5
回答已采纳
我用keras训练一个二进制分类器神经网络。为了对训练数据进行洗牌，我使用了来自scikit-learn的洗牌功能。
我观察到，对于一些shuffle_random_state (shuffle()种子)，网络给出了很好的结果(~86%的准确率)，而对其他的则不太好(~75%的准确率)。因此，我运行了1-20 shuffle_random_states的模型，并选择了random_state，为生产模型提供了最佳的精度。
我想知道这是否是一种很好的方法，通过这些好的shuffle_random_state，网络实际上正在学习得更好吗？
浏览 0提问于2019-02-18得票数 2
1回答
据我所知，支持向量机是在最小误差函数的前提下运行的，通常的目标是最大限度地提高总体精度。然而，有很多上下文，特别是在社会科学中，人们不追求99%+的准确性，而是以95%的准确性(例如95% CI、p值等)为目标。我想知道是否有一种方法来训练支持向量机，目标是开发达到95%准确率的最佳模型。显然，根据上下文的不同，95%的准确率可能是遥不可及的，研究人员只是在寻找他们能够得到的最佳预测模型；但是当支持向量机可以在某些数据集上进行训练并反复获得95%以上的准确率时，我想知道是否有一种方法可以权衡其中的一些准确性，以获得可泛化性，即减少决策边界的复杂性(例如，减少折叠数)，或者最大化另一个函数，比如
浏览 0提问于2022-10-21得票数 0
1回答
我正在执行钓鱼URL分类，我正在比较平衡的2类数据集(合法URL，phishy )上的几个ML分类器。
随机森林分类器、Ada Boost分类器、多树分类器和K分类器的分类准确率达到90%左右，假阳性率达到11~12%。(图)
另一方面，SVM、Logistic回归、多项式NB、Bernoulli NB等分类器性能较差，准确率在70% ~ 80%之间波动，假阳性率较高。
事情是这样的。我也尝试过高斯铌，虽然它的准确度是目前为止最差的58.84%，但它的假阳性率却非常低，只有2.14% (因此FNR很高)。
我不知道为什么会这样。有什么想法吗？
为什么有些分类器表现这么差，而另一些则不行呢？
我
浏览 0提问于2020-05-12得票数 0
回答已采纳
我用它来处理深度学习和医学图像分类。我使用脑部MRI数据并将它们转换成jpg。然后使用VGG16进行训练。当我检查损失、准确性、验证损失和验证准确性时，我会看到下面的图表。
精度和val_accuracy停留在某些迭代上。当我用不同角度的旋转来增加数据时，结果是相似的。我怎么才能摆脱它？是因为VGG16模型还是我的数据集？我还添加了我的模型的图表，从拉伸板，你可以检查。
这是关于我的论文，经过几天的研究，我找不到有用的信息。这个网站是我最后的希望。提前谢谢。
浏览 0提问于2019-02-19得票数 3
我有一个特定的数据集，当我在matlab和sklearn工具箱中使用线性支持向量机时，得到了不同的结果。
数据已在matlab中标准化，并从mat文件导入到python中。
在Matlab中使用的代码是
acc = 0;
for i = 1:10
[train,test] = crossvalind('HoldOut',Y,0.2);
mdl = fitcsvm(X(train,:),Y(train),'KernelFunction','linear');%,'BoxConstraint', 10,'Kerne
浏览 0提问于2018-10-31得票数 0
2回答
用11200幅图像数据集对神经网络进行了训练，验证准确率为96%。我保存了我的模型，并将它的权重加载到同一个神经网络中。我在一个数组中选择了我的数据集的738幅图像，并试图用我的模型来预测它们的类别，并将它们与真实的标签进行比较，然后再一次计算出准确率，它是74%。这里有什么问题？我想它的准确度应该在96%左右。
prelist=[]
for i in range(len(x)):
prediction = model.predict_classes(x[i])
prelist.append(prediction)
count = 0
for i in range(len(x)
浏览 4提问于2020-02-21得票数 0
我最近开始在一个项目中利用Keras的flow_from_dataframe()特性，并决定用MNIST数据集来测试它。我有一个目录，里面装满了png格式的MNIST示例，还有一个dataframe，每个示例的绝对目录在一列中，标签在另一列中。
我还使用迁移学习，导入VGG16作为基础，并在softmax层10之前添加我自己的512节点relu密集层和0.5丢失率。(用于数字0-9)。我使用rmsprop (lr=1e-4)作为优化器。
当我启动我的环境时，它调用来自Git的最新版本的keras_preprocessing，它支持绝对目录和大写文件扩展名。
我的问题是我的训练准确率非常高，而验
浏览 3提问于2018-12-06得票数 1
我的原始数据集有500个实例，有10个类，并且存在类不平衡
为了减少类不平衡，我使用了过采样技术，我的新数据集有1500个实例和10个类。
对于原始数据集，我应用了j48分类器，获得了63%的准确率
对于新的样本数据集，我应用了j48分类器，并获得了75%的准确率。
我的问题是，我怀疑我的数据对于分类器来说是过度拟合的。
如何检查数据是否过拟合以及如何减少过拟合
浏览 0提问于2013-08-22得票数 0
当我们执行这样的代码时：
model.compile(Adam(lr=0.0001),loss='sparse_categorical_crossentropy',metrics=['accuracy'])
model.fit(train_sample, label, batch_size=10, nb_epoch=25, verbose=2)
损失和准确率(output like loss: 0.6971 - acc: 0.4965)是基于哪些数据计算的？它是隐式地自己生成验证集，还是只是根据训练数据给我们带来错误？
浏览 14提问于2018-07-22得票数 1
回答已采纳
假设我循环使用以下代码，直到获得满意的准确性为止：
from sklearn.model_selection import train_test_split
x, y = # ... read in some data set ...
c = 3000 # iterate over some arbitrary range
for i in range(c):
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.2, random_state=i)
model = # .
浏览 3提问于2020-09-02得票数 1
回答已采纳
3回答
我在工作环境的正常运作中遇到了一些事故。它是一个倾斜的数据集。我的预测准确率为95%。
问题：
接受这一预测是数据科学家的普遍做法吗？
我必须通过重采样和平衡偏斜和train & test再次返工吗？
很抱歉，我要问一些基于部分意见的问题。
📷
浏览 0提问于2018-12-26得票数 0
1回答
我正在用一些预先训练过的模型(vgg16，vgg19，…)学习迁移学习。，我不知道为什么我需要加载预先训练的重量来训练我自己的数据集。
我可以理解数据集中的类是否包含在预先训练过的模型所用的数据集中。例如，VGG模型在Imagenet数据集中使用1000个类进行训练，而我的模型是对图像集中的猫狗进行分类。但在这里，我的数据集中的类不在此数据集中。那么，训练前的体重有什么帮助呢？
浏览 0提问于2019-01-22得票数 2
回答已采纳
我是深度学习和神经网络的新手。我最近使用FER-2013数据集构建了一个面部情绪识别分类器。我使用预训练的resnet-152模型进行分类，但我的模型的准确性非常低，无论是训练精度还是验证精度。我得到了大约36%的准确率，这不是很好。我认为使用迁移学习，准确率应该很高，为什么我得到的准确率这么低？我应该更改超参数吗？这是我的代码。
model= models.resnet152(pretrained=True)
for param in model.parameters():
param.requires_grad= False
print(model)
浏览 0提问于2020-05-18得票数 0
我试图了解测试数据集是否可以用来选择一个经过训练的最终模型。让我们假设这个场景：
我首先分割了整个数据集: 70%的训练，30%的测试。然后我拟合了几个模型(假设NN，RandomForest，AdaBoost，.)在训练数据集上进行交叉验证，对超参数进行调优，以获得最佳的列车数据性能。我知道这些分数是有偏见的，因为我调整了这些数据上的超参数。
然后，使用测试数据集来获得对无偏数据的真实性能，并选择哪个模型的性能最好。
这是使用测试数据集的正确方式吗？一些混淆来自于测试数据集的internet定义：
用于对最终模型进行无偏评估的数据样本，适合于培训数据集。
似乎它应该只用于获得一个最后训练的模
浏览 0提问于2018-12-27得票数 2
回答已采纳
1回答
我正在使用Tensorflow RNN来预测一系列序列。我使用Grucell和dynamic_rnn。在训练时，我输入训练数据集，我将其分成8批，每批的批大小为10 (1批的形状为[10, 6, 2]，即[batchsize, seqlen, dim])。为了防止过拟合，当训练数据集中的预测率开始超过80%时，我会停止训练(通常在80%~83%的准确率时停止)。
在训练之后，我让相同的图预测(而不是训练)相同的训练数据集。但这一次，由于tf.nn.dynamic_rnn可以提供可变大小的批次，我可以将数据集裁剪成80批次，每个批次具有1的批次大小和[1, 10, 2]的形状(简单地减小批次大小
浏览 6提问于2018-02-04得票数 0
2回答
我正在尝试建立一个具有13000个训练图像和3000个验证图像的11类图像分类器。我使用的是深度神经网络，它正在使用mxnet进行训练。训练准确率正在提高，达到80%以上，但验证准确率在54-57%之间，而且没有增加。这里会有什么问题呢？我应该增加图片的数量吗？
浏览 1提问于2016-05-04得票数 13
回答已采纳
1回答
我正在尝试在视网膜图像的数据集中使用imagenet转移学习VGG16模型，但我对获得像this这样的图表感到困惑，我不知道为什么验证精度没有像训练精度一样在历元期间以正常的方式增加，这是过拟合的指标吗？如果是，我如何克服它？
浏览 17提问于2020-04-13得票数 0
2回答
我是神经网络的新手，我正在与Encog3合作。我已经创建了可以训练和测试的前馈神经网络。问题是我不确定如何防止过度拟合。我知道我必须将数据分成训练集、测试集和评估集，但我不确定在哪里以及何时使用评估集。目前，我将所有数据分成训练和测试集(50%，50%)，在一个部分训练网络，在另一个部分进行测试。准确率为85%。我试过使用CrossValidationKFold，但在这种情况下，准确率只有12%，我不明白为什么。
我的问题是，如何使用评估集来避免过度拟合？我对评估集感到困惑，任何帮助都将不胜感激。
浏览 1提问于2015-06-10得票数 0
2回答
我想确定我对这个问题的理解是正确的。我想做图像分类，在我的领域的现状是通过转移学习在VGG16实现。
由于这一领域的图像与VGG16图像完全不同，我们应该解冻“大量”的图层。
原始VGG16模型具有130 m以上的参数。它有大约13个隐藏层和3个完全连接的层在末尾。如果我只解冻完全连接的层，我仍然有超过80M的参数来训练！我可能需要解冻一些隐藏层以获得更好的性能，因为我的数据非常不同
所以看起来，使用VGG16进行传输学习需要大量的计算能力
我说的对吗？有没有可能在没有大量计算能力的情况下，使用图像传输学习，而不是训练数据呢？
浏览 0提问于2019-06-26得票数 2
回答已采纳
1回答
我该如何处理模特的超身问题？
、、、、
我使用XGBoost模型来预测攻击，但我得到了100%的准确率，我也尝试了随机森林，同样，我得到了100%。我该怎么处理这个卵子改装的问题？我遵循的步骤是:数据清理、数据分割、特性缩放、特性选择--我甚至试图改变这个顺序，但仍然得到了相同的东西。你知道怎么处理这件事吗？谢谢
浏览 7提问于2022-10-19得票数 0
回答已采纳
我有一个很不直观的问题。我正在对亚马逊书评进行情感分析，数据集严重不平衡。正面评论几乎是负面评论的10倍，训练和测试的准确率都在90%左右(数据集不平衡)。然而，当我尝试在class_weight = {0:10 , 1:1}的帮助下平衡数据集时，训练和测试的准确率都下降到了65%左右。同样，如果我的class_weight = {0:1 , 1:10}准确率再次激增，那么显然我设置的class_weight是错误的，但据我所知，因为正面评论的数量(1)是负面评论数量(0)的10倍，class_weight不应该设置为{0:10，1:1}吗？
这是我对训练和测试数据进行分类的方法：
x_tra
浏览 2提问于2018-11-25得票数 1
1回答
我正试图建立一个LSTM模型来预测股票价格。我把数据分成训练和测试两部分。我使用model.fit内部的测试数据作为validation_data。之后，我将测试数据传递给model.predict()并生成预测。
我想知道，如果我使用model.fit()中的测试数据，如果我使用相同的数据来生成预测，是否会发生过度拟合？
我是否应该将原始数据分成3组:培训、验证和测试？验证数据将用于model.fit()，而测试数据将用于model.predict()。
样本代码：
model_lstm = Sequential()
model_lstm.add(LSTM(50, return_sequen
浏览 34提问于2022-07-05得票数 -1
回答已采纳
1回答
如何避免过度拟合？
、、、
我的情况是：
我的训练准确率为93%。
CV准确率为55%。
测试准确度为57%。
我认为这是一个典型的过度拟合的例子。
据我所知，我可以使用正规化。我已阅读交叉验证也将有助于解决我的过度拟合问题。
我对此有一些疑问：
交叉验证是否仅用于超参数调整，还是在解决过度拟合问题方面发挥作用？
如果交叉验证解决了过度匹配的问题，如何解决？
交叉验证是否仅用作检验模型是否过拟合？
浏览 1提问于2019-08-07得票数 1
回答已采纳
我有一个非常小的数据集(40个训练示例、10个验证示例、120个类)，对于这些数据集，我在Keras中使用了一个非常简单的模型(仅限于批规范、扁平和密集层)，获得了非常高的精度。
我的训练准确率为94-95%，验证准确率为76-78%.我知道这太合适了，我试过几样东西。数据不是图像，所以我不能增加数据。我也不能添加数据，因为它是一个特定的类型。我使用了两个0.5层的下拉层，架构非常简单，所以我认为我无法降低体系结构的复杂性。如果有人喜欢，我可以粘贴模型。
我的问题是:是否有过这样的情况:验证的准确性不能像训练的准确性那样高？是否有基于数据集大小的限制？还是总是有可能验证的准确性匹配培训的准确性
浏览 0提问于2017-06-05得票数 3
回答已采纳
我正在尝试重新训练VGG16来对乐高图像进行分类。然而，我的模型的准确率很低(在20%之间)。我做错了什么？可能是FC号错了，或者是我的ImageDataGenerator。我有大约。每个类2k个图像，总共6个类。 如何创建模型： def vgg16Model(self,image_shape,num_classes):
model_VGG16 = VGG16(include_top = False, weights = None)
model_input = Input(shape = image_shape, name = 'input_layer')
浏览 49提问于2019-04-14得票数 0
代码的相关部分：
模型架构：
Sequential(
layers=[
BatchNormalization(input_shape=input_shape),
LSTM(lstm_1, return_sequences=True, dropout=dropout_1),
BatchNormalization(),
LSTM(lstm_2, dropout=dropout_2),
Dense(1, activation='sigmoid')
]
)
编译和fit调用：
model.c
浏览 1提问于2018-12-17得票数 2
2回答
我正在用模拟数据训练一个ResNet50网络，我的验证数据集是实验数据。仿真数据不能100%准确地表示实验数据。该网络的目的是为了实现二进制分类器。在最初的训练状态中，我注意到一些非常奇怪的事情如下：
训练的交叉熵损失为0.69，大致等于-log(50%)，准确率为50%。这在逻辑上是有道理的，因为模型基本上没有学到任何东西，只是随机猜测而已。验证(实验)数据集的损失也为0.69，但准确率接近于0%或100%。我理解这部分是由模拟(训练)和实验(验证)数据之间的差异造成的，但它可能告诉我们一些更深层次的东西，例如，模拟数据集与实验数据是如何不同的。我想不出来，我很想听听你的意见。请参考下面的指
浏览 0提问于2022-10-15得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
