我正在使用fit_generator来训练模型。正在从生成器函数中读取训练数据集，该函数提供恒定批处理大小的数据。现在我想知道，对于验证数据，我应该采用什么样的方法。我是否应该为验证集制作一个生成器，或者将其完全加载到内存中并在fit_generator中使用？
注意:<em
浏览 0提问于2019-03-17得票数 3
我有两个相当大的PyTables EArrays，它包含用于回归任务的输入和标签。输入数组为4d (55kx128x128x3)，标签数组为1d (55k)。我有一个在Keras中指定的NN体系结构，我想对这个数据进行培训，但是有两个问题。
输入数组至少太大，不能同时放进内存中。我只想对完整数据的一些随机子集进行训练，因为我想使用训练、测试和验证分裂。我通过对指数的随机子集进行
浏览 3提问于2016-12-20得票数 5
我想用tensorflow.keras训练一个模型。我希望在每个训练步骤之间做一些其他的事情，这就是为什么我不能使用fit_generator来训练我的模型。换句话说，我希望通过循环fit函数来训练模型，如下所示：validation_data_generator =
浏览 1提问于2020-02-21得票数 1
我正在使用DAIC音频和视频摘录数据集来检测抑郁症.在训练音频文件时，它有三个输入: eGeMAPS、MFCC和DENSENET数组。它们被输入到BLSTM模型中。我看到数据被下载到本地节点并创建了NumPy数组。OOM发生在批处理开始时。
我尝试只使用一个输入(eGeMaps)运行模型，但遇到内存问题。我的问题是，是否有一种方法可以批量加载NumPy文件，类似于图像数据集？<em
浏览 0提问于2021-01-27得票数 0
回答已采纳
我正在通过下面添加的data generator生成我的图像字幕模型的训练数据。该模型基于here提供的模型。如何在训练期间以类似的方式生成和设置验证数据？我确实有验证图像和它们的标题的功能。数据生成器： def data_generator(all_train_captio
浏览 28提问于2020-04-07得票数 0
回答已采纳
我想在Keras中训练我的模型，所以尝试将图像加载为numpy数组并调整它们的大小，但失败了，因为我没有足够的内存。
我的任务是语义分割。我有两个文件夹。一个用于输入图像，另一个用于所需的输出图像。
浏览 16提问于2018-02-22得票数 0
回答已采纳
我有一个用Keras开发的ML模型，我可以通过调用它的fit_generator并为它提供我的自定义生成器来在本地训练它。现在我想使用GCP来训练这个模型。我一直在关注this article，它向我展示了如何在GCP上训练一个Keras模型，但它没有说明如果我需要将所有数据加载到内存中，对其
浏览 11提问于2019-10-08得票数 0
我有一个数据生成器，我可以从中生成训练图像。我想使用这个Python数据生成器将数据提供给Tensorflow模型，但我不知道如何将生成器转换为Tensorflow张量。我正在寻找类似于Keras的fit_generator()函数的东西。
谢谢!
浏览 13提问于2017-12-23得票数 4
回答已采纳
height_shift_range=0.2, shear_range=0.2, zoom_range=0.2, )batch_size=batch_size, class_mode='categorical',interpolation='nearest'最后，将这个生成器
浏览 0提问于2019-01-10得票数 0
回答已采纳
我被这个问题弄糊涂了好几天..。
我的问题是，为什么训练时间有如此巨大的差异，我把batch_size设置为"1“和"20”为我的发电机。如果我将batch_size设置为1，则1纪元的训练时间约为180 ~ 200秒。然而，这些训练时间之间的这种可怕的差异似乎是异常的.因为它应该是相反的结果: batch_size = 1，训练时间-> 3000 ~ 3200秒。batch_size = 20，训练
浏览 3提问于2017-04-17得票数 37
回答已采纳
我在keras中使用带有fit_generator的数据生成器(用于培训和验证数据)。我得到了意想不到的结果，所以我用仪器测试生成器输出批处理索引，并计算自上一个时代以来的步骤数。我在模型度量中添加了“acc”。
它将验证数据排成队列(但我猜它还没有评估)。它遍历所有
浏览 0提问于2018-09-17得票数 1
1回答
我试图在不训练和更新权重的情况下确定模型的准确性，因此我将所有层都设置为trainable = False。当我在带有shuffle = False的生成器上运行fit_generator时，每次都会得到一致的结果。当我在带有shuffle = True的生成器上运行fit_generator时，结果会有一些跳跃。假设输入数据是相同的，并且模型没有进行训练，<em
浏览 1提问于2017-07-11得票数 3
我希望使用自定义生成器，以便在Keras中的dataset上实现自定义增强。然而，我构建了一个泛型生成器(没有增强)，并且不明白为什么它的性能要比内置的适配函数差得多。我的发电机看起来是这样的：
batch_features = np.zeros(steps_per_epoch=X_train.shape[0]//BATCH_SIZE, epoch
浏览 0提问于2019-05-21得票数 0
2回答
我正在设置一个fit_generator来训练一个由keras训练的DNN。但我不知道如何在这台发电机里使用CNN。基本上，我有一个经过预先训练的图像生成器，它使用完全连接的卷积网络(我们可以将它命名为GEN)。现在，我想在我的fit_generator中使用这个完全-CNN来生成无限数量的图像来训练另一个分类器(称为类网)。但它总是毁了我的<e
浏览 0提问于2019-05-06得票数 0
train_on_batch()和fit()有什么不同？我们应该使用train_on_batch()的情况是什么？
浏览 0提问于2018-03-04得票数 48
回答已采纳
2回答
我有一个生成器函数，它生成(输入，目标)的元组，我的模型在这个元组上使用Keras中的fit_generator()方法进行训练。 我的数据集被分成9个相等的部分。我希望使用fit_generator()方法对数据集执行留一交叉验证，并保持先前训练的学习参数不变。我的问题是，在模型上多次调用<
浏览 21提问于2019-06-13得票数 3
回答已采纳
2回答
我有一个非常大的图像数据集(>50G，一个文件夹中的单个图像)用于培训，为了更有效地加载图像，我首先将部分图像加载到RAM中，然后发送小批到GPU进行培训。我想进一步加快数据准备过程，之前，把图像提供给GPU，并正在考虑多处理。但我不知道该怎么做，有什么想法吗？
浏览 1提问于2016-11-24得票数 0
回答已采纳
我有一个非常大的数据集，并且正在使用Keras的fit_generator来训练Keras模型(tensorflow后端)。我的数据需要在整个数据集中进行规范化，但是当使用fit_generator时，我可以访问相对较小的数据批，并且这个小批中的数据规范化并不代表对整个数据集中的数据进行规范化。影响相当大(<e
浏览 0提问于2018-06-04得票数 3
回答已采纳
我目前正在使用一台32 GB内存的计算机，其英特尔i7-8700 @3.2 GHz，使用Keras的fit()函数(训练时间~4分钟)训练这个神经网络时，我没有任何问题。我的想法是使用带有fit_generator()函数的生成器对相同的模型进行拟合，并在每次调用生成器函数时加载部分数据集而不是整个数据集(以便
浏览 3提问于2020-02-12得票数 0
我试图在Keras中使用预先训练过的VGG16，但是我一直收到这个错误：
from keras import applications
from keras.preprocessing.imagew024029h\AppData\Local\Progra
浏览 1提问于2019-01-15得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
