steps_per_epoch序列、fit_generator和Keras
steps_per_epoch序列是指在使用Keras进行模型训练时，每个epoch（训练周期）中的步数。一个步数代表着模型在训练过程中处理的样本数量。在训练过程中，数据集通常会被分成多个批次（batches）进行处理，每个批次包含一定数量的样本。steps_per_epoch序列定义了每个epoch中需要处理的批次数量。
设置合适的steps_per_epoch序列对于模型的训练非常重要。如果设置的值过小，可能导致模型无法充分学习数据集的特征，从而影响模型的性能。相反，如果设置的值过大，可能会导致训练过程变慢，因为模型需要处理更多的样本。
在使用fit_generator函数进行模型训练时，可以通过设置steps_per_epoch参数来指定每个epoch中的步数。例如，如果数据集包含1000个样本，每个批次包含32个样本，可以将steps_per_epoch设置为1000/32=31，表示每个epoch中需要处理31个批次。
Keras是一个开源的深度学习框架，提供了简单易用的API，支持多种编程语言，如Python。它可以用于构建各种类型的神经网络模型，并提供了丰富的工具和函数来简化模型的训练和评估过程。
腾讯云提供了多个与Keras相关的产品和服务，例如腾讯云AI引擎（https://cloud.tencent.com/product/tc-aiengine）和腾讯云机器学习平台（https://cloud.tencent.com/product/tc-mlplatform）。这些产品和服务可以帮助用户在腾讯云上快速搭建和部署基于Keras的深度学习模型，并提供了丰富的功能和工具来支持模型的训练和推理。
相关·内容
我在木星笔记本中使用Keras2.0.8和Python3内核。我的后端是TensorFlow 1.3，我正在开发Mac。
每当我使用fit_generator()时，我都会收到以下警告：
/Users/username/anaconda/envs/tensorflow/lib/python3.6/site-packages/ipykernel/main.py:5: UserWarning: Keras 2参数steps_per_epoch的语义与Keras 1参数samples_per_epoch不同。steps_per_epoch是每个时期从生成器中提取的批数。基本上，steps_per_
浏览 3提问于2017-09-20得票数 6
回答已采纳
我注意到，在fit_generator中，steps_per_epoch参数通常被赋值为total_samples//batch_size，其中可以创建一个生成器/使用ImageDataGenerator并将其作为参数传递给fit_generator。 但是，我使用Sequence类(keras.utils.Sequence())创建我的生成器，并向steps_per_epoch传递一个小于total_samples//batch_size的整数。 我想知道的是，一旦每个时期完成，生成器中的数据生成会从头开始吗？ 例如，我的训练集中有3200个样本，我使用的批量大小为32。因此，理想情况下，
浏览 18提问于2019-06-12得票数 3
回答已采纳
我手动构建了一个数据生成器，生成每个调用的[input, target]元组。我每一个时代都会设置我的发电机来洗牌训练样本。然后，我使用fit_generator来调用我的generator，但是对这个函数中的“洗牌”参数感到困惑：
fit_generator(self, generator, steps_per_epoch=None, epochs=1, verbose=1, callbacks=None, validation_data=None, validation_steps=None, class_weight=None, max_queue_size=10, workers=1,
浏览 0提问于2018-02-28得票数 11
回答已采纳
在Keras中，我正在复制一篇我知道epoch和batch_size值的论文的工作。由于数据集相当大，所以我使用的是fit_generator。我想知道如何在steps_per_epoch中设置给定的epoch值和batch_size。有标准的方法吗？
浏览 0提问于2019-03-16得票数 35
我的代码如下：
model.fit_generator(generator=(train_image_list, train_mask_list),epochs=1000,shuffle=True)
train_image_list和train_mask_list都包含试图在Google中运行上述代码的图像lists.When，我得到以下错误：
When passing input data as arrays, do not specify `steps_per_epoch`/`steps` argument. Please use `batch_size` instead.
在Keras文
浏览 2提问于2019-12-06得票数 0
我更新了pip和keras库，但这似乎发生了。我查看了Keras文档，validation_freq似乎不起作用。有什么解决办法吗？ model.fit_generator(generator=train_generator,
steps_per_epoch=steps_per_epoch,
epochs=epochs,
callbacks=[model_checkpoint, tensorboard_cal
浏览 37提问于2019-05-24得票数 1
我尝试了迁移学习，然后我得到了"no attribute 'image_data_generator'“错误。这个错误是什么意思？
您可以通过以下方式重现我的错误。
*复制步骤
$ cd /tmp
$ git clone --branch no-attribute-error https://github.com/y-zono/btc-bch-ml.git
$ cd btc-bch-ml
$ docker build -t model-builder .
$ docker run -v /tmp/btc-bch-ml/docker:/docker -d -it mode
浏览 1提问于2018-05-01得票数 2
我对Keras很陌生，所以我混淆了Keras文档和其他人使用fit_generator的例子。当我测试-用100个样本运行这个代码时(为了快速输出)。实际训练样本超过10k)，批数为32，分2期：
# Create a generator that generates an image and a label one at a time (because loading all data into memory will freeze the laptop)
def generate_transform(imgs, lbls):
while 1:
for
浏览 1提问于2019-05-14得票数 0
回答已采纳
在培训期间，我在Keras中使用fit_generator(data_generator, steps_per_epoch=total/batch_size, epochs=epochs, verbose=2,callbacks=mylist)，而我不知道如何在训练时让它打印训练的准确性？好像是在没有任何信息的情况下进行训练.
浏览 7提问于2017-11-11得票数 0
回答已采纳
我有一个csv太大，无法立即读到内存，所以我想分块出来，并配合一个角模型与它一块一块。我想我误解了fit_generator函数是如何工作的，因为我不断地获得StopIteration错误，即使chunksize & steps_per_epoch正确地说明了我的csv中有多少行。
代码：
import pandas as pd
import numpy as np
from keras.models import Sequential
from keras.layers import Dense, Dropout
np.random.seed(26)
x_train_generat
浏览 5提问于2017-10-09得票数 6
回答已采纳
使用Keras fit_generator，steps_per_epoch应等于可用样本总数除以batch_size。
但是如果我选择一个不适合n次样本的batch_size，生成器或fit_generator会有什么反应呢？它会产生样本，直到不能再填满整个batch_size，还是只使用较小的batch_size来获得最后的得率？
为什么我问:我将我的数据分成不同大小的训练/验证/测试(不同的百分比)，但对训练和验证集使用相同的批处理大小，尤其是对训练和测试集。由于它们的大小不同，我不能保证批量大小适合样本总数。
浏览 1提问于2018-06-01得票数 4
我正在一个google云tensorflow vm实例上训练一个unet。当我运行fit_generator时，我会得到一个MemoryError。
当我在tensorflow (cpu版本)上本地运行相同的代码时，不会发生这种情况。我已经尝试将VM实例上的RAM增加到13 my (大于本地计算机)。
model = unet()
model_checkpoint = ModelCheckpoint('unet_membrane.hdf5', monitor='loss',verbose=1, save_best_only=True)
model.fit_gen
浏览 0提问于2019-08-11得票数 0
回答已采纳
我训练了一个二进制分类器，然后将模型保存为.h5文件。
最初，我一直使用fit_generator来训练它。
model.fit_generator(
train_generator,
class_weight=class_weights,
steps_per_epoch=nb_train_samples // batch_size,
epochs=epochs,
validation_data=validation_generator,
validation_steps=nb_validation_samples // batch_size,
callbacks=my_callbacks
)
浏览 0提问于2019-03-30得票数 0
我正在尝试深入学习R。在网上使用各种博客，我试图测试他们的代码，看看他们是如何工作的。对于keras，我不知道为什么，但每次我运行一个模型函数时，它总是崩溃。如果我没有提供足够的信息，我很抱歉。我正在运行AMD GPU和CPU示例代码部分
history <- model %>% fit_generator(
train_generator,
steps_per_epoch = 100,
epochs = 100,
validation_data = validation_generator,
validation_steps = 50,
)
use_multi
浏览 2提问于2019-10-31得票数 1
我有点困惑如何在fit_generator中使用keras。
例如，让我们说：
我们有10000个数据点
我们想跑10个时代
批号为512
使用fit，我们只需：
x, y = load_data()
model.fit(x=x, y=y, batch_size=512, epochs=10)
其中load_data加载所有数据。
现在，如何对fit_generator进行同样的处理。
我不清楚在使用fit_generator时是如何处理它的。如果我有以下生成器：
def data_generator():
for x, y in load_data_per_lin
浏览 2提问于2017-10-04得票数 2
我使用的是谷歌Colab，我使用的是numpy.random.seed()和tensorflow.set_seed()以及Keras v2和Tensorflow v2.x。
然而，它仍然在不同的运行中给出了不同的结果。还有什么我可能需要设置的吗？
我在它们中都指定了一个参数，我不会让它们没有参数。
np.random.seed(1) # this is in a notebook
... # this is a function called in the notebook
tf.random.set_seed(3)
self.model.fit_generator(
r
浏览 1提问于2020-07-16得票数 0
我正在尝试使用keras的fit_generator和一个tensorboard_callback来运行一个模型来分析特定的时代。我正在为生成器运行以下代码：
def gen(source):
loopable = iter(source)
for batch in loopable:
yield (batch[0], batch[1])
在主要的培训脚本中，我将实例化生成器，并将模型与张量板回调一起使用，如下所示：
train_gen = gen(train_datasource)
log_dir="logs/profile/" + datetime.datetime
浏览 2提问于2020-01-28得票数 1
回答已采纳
我试图将fit_generator与自定义train_sequence_generator和自定义test_sequence_generator一起使用，我得到了下面的错误。请告诉我该在哪里更改代码。
1.自定义序列类：
import os
import numpy as np
from keras.utils import Sequence
from batchGenerator import BatchGenerator
from settings import batch_size, train_folder, test_folder
class SequenceGenerato
浏览 0提问于2019-04-07得票数 4
我跟随，用fit_generator() Keras方法实时生成数据，训练我的神经网络模型.
我使用keras.utils.Sequence类.The调用fit_generator()创建了一个生成器，如下所示：
history = model.fit_generator(generator=EVDSSequence(images_train, TRAIN_BATCH_SIZE, INPUT_IMG_DIR, INPUT_JSON_DIR, SPLIT_CHAR, sizeArray, NCHW, shuffle=True),
ste
浏览 2提问于2020-01-08得票数 5
我有下一个代码：
from sklearn.model_selection import train_test_split
from scipy.misc import imresize
def _chunks(l, n):
"""Yield successive n-sized chunks from l."""
for i in range(0, len(l), n):
yield l[i:i + n]
def _batch_generator(data, batch_size):
indexes
浏览 2提问于2017-09-19得票数 8
1回答
每当我使用Keras启动培训时，我都会得到多个进程(数十个)，就像您在这个上看到的那样。这正常吗？
这是否是我经历记忆问题的原因呢？随着培训的进行，缓存变得满，然后交换被激活，几个小时后机器需要重新启动。
培训是在一个GPU上进行的，使用fit_generator：
training_model.fit_generator(
generator=train_generator,
steps_per_epoch=config["steps"],
epochs=config["epochs"],
verbose=1,
call
浏览 0提问于2020-02-13得票数 1
2回答
我有一个生成器函数，它生成(输入，目标)的元组，我的模型在这个元组上使用Keras中的fit_generator()方法进行训练。 我的数据集被分成9个相等的部分。我希望使用fit_generator()方法对数据集执行留一交叉验证，并保持先前训练的学习参数不变。 我的问题是，在模型上多次调用fit_generator()会让它从头开始重新学习之前的训练和验证集上的学习参数，还是会保持这些学习参数不变，从而提高准确性？ 经过一些研究后，我发现Keras中的fit()方法保留了学习到的参数，就像这里的Calling "fit" multiple times in Keras一样
浏览 21提问于2019-06-13得票数 3
回答已采纳
我使用预定义的模型vgg16进行图像分类，我在验证数据中获得了89%的准确率，为了提高模型的准确性，我进行了图像增强，但得到了一些错误。请帮我讲讲如何适合这个模型。这是我的代码。
train_datagen = ImageDataGenerator(
rescale=1./255,
shear_range=0.2,
zoom_range=0.2,
horizontal_flip=True)
train_datagen.fit(X_train)
我使用的输入图像是64x64x3。我就是这样的一个合适的模特。
history = m
浏览 0提问于2019-03-28得票数 0
在Keras文档中，steps_per_epoch在fit_generator中的意思是：
在宣布一个时代完成并开始下一个时代之前，从生成器中产生的步骤总数(批量样本)。
我在想，如果我有一个无限发电机，那么当我进入下一个时代时，我该从哪里开始呢？我能从剩下的地方捡起来吗？还是再次从第一个样本开始？
浏览 0提问于2018-12-14得票数 1
回答已采纳
2回答
我正在运行一个图像分类模型。这就是我被卡住的地方。尝试将keras版本降级到1.0.2，并再次运行脚本不起作用。
Jupyter notebook只是继续处理，在第一个时期之后不再运行任何东西，在使用Python3.5的keras1.2上运行代码
输出：
/anaconda/envs/py35/lib/python3.5/site-packages/ipykernel/__main__.py:19: UserWarning: Update your `Dense` call to the Keras 2 API: `Dense(101, activation="softmax"
浏览 20提问于2017-12-31得票数 2
回答已采纳
我正在尝试使用带有自定义生成器的fit_generator来读入内存太大的数据。我想训练125万行，所以我让生成器一次生成50,000行。fit_generator有25个steps_per_epoch，我认为每个时代会带来1.25 25的内存。我添加了一条打印语句，这样我就可以看到进程的偏移量有多大，当它进入时期2的几步时，我发现它超过了最大值。该文件中总共有175万条记录，一旦超过10步，它就会在create_feature_matrix调用中得到一个索引错误(因为它没有引入任何行)。
def get_next_data_batch():
import gc
nrows =
浏览 1提问于2018-02-11得票数 5
回答已采纳
当我使用fit_generator时，我发现历史返回的结果中没有验证集的结果。 valid_datagen = tf.keras.preprocessing.image.ImageDataGenerator(rescale=1./255)
valid_generator = valid_datagen.flow_from_directory(directory=valid_dir,
target_size=(height, width),
浏览 14提问于2019-12-25得票数 1
我试图使用xgboost分类器进行多标签和多类图像分类任务。我有一个列表的图像，可以有多达5个不同的标签在每个。在使用分类器之前，我还想应用图像增强。
import keras
from sklearn.model_selection import train_test_split
from keras.preprocessing.image import ImageDataGenerator
from xgboost.sklearn import XGBClassifier
train_idx, val_idx = train_test_split(mask_df.index, test
浏览 0提问于2019-11-04得票数 1
回答已采纳
我想在Keras创建和训练一个用于纸币分类的CNN模型。用简单的教程创建模型很好，但与我从这个中采用的体系结构不一样。Keras输出:调用RuntimeError('You must compile your model before using it.')后的fit_generator()。
如果与此相关，我使用tensorflow后端。
模型在model.py中定义
from keras.layers import ...
model = Sequential()
model.add(some_layer)
... #according to the paper
m
浏览 1提问于2018-08-10得票数 7
回答已采纳
我正在玩变分自动编码器，并希望适应。
基本上，这个例子非常简单，基于mnist数据集，我想在一个更困难的集合上实现，因为它更现实。
我试图修改的代码：
vae_dfc.fit(
x_train,
epochs=epochs,
steps_per_epoch=train_size//batch_size,
validation_data=(x_val),
validation_steps=val_size//batch_size,
verbose=1
)
对于更复杂的数据集，几乎不可能在内存中加载所有内容，因此我们需要使用fit_gener
浏览 0提问于2019-12-11得票数 0
回答已采纳
我正在尝试训练keras模型。下面是训练模型的函数。
def train_model(input_videos, video_label, mapping, micro_expressions, val_x=None, val_micro=None, val_y=None, return_best=False):
print("train_model")
input_videos = np.asarray(input_videos)
data_x, data_y, data_mapping, data_micro = H1_preprocessing(i
浏览 84提问于2021-03-15得票数 0
我想使用keras model.fit_generator方法，因为我编写了自己的生成器，对于这个方法，我需要定义参数"steps_per_epoch“，我想在每个时代使用每一个训练数据一次。
现在我的问题是，我在生成器中生成特性，我读取wav-文件并创建fft，在开始培训之前，我不知道我有多少批/样本。在开始使用fit_generator方法之前，我可以计算每个文件的fft值，但是每次更改数据集(>20 my )时，我都需要重新计算每个文件的fft值，并将计数保存到每个时期的步骤中。是否有更好的方法来定义fit_generator只使用每一个样本一次而不计算每个时代的步骤？或者
浏览 5提问于2017-08-27得票数 0
我正在训练一个fit_generator (Tensorflow backend，Python，on MacBook)，在Keras函数的早期停止回调中得到一个错误。错误如下： RuntimeWarning: Early stopping conditioned on metric `val_loss` which is not available. Available metrics are:
(self.monitor, ','.join(list(logs.keys()))),
RuntimeWarning: Can save best model only wit
浏览 377提问于2018-03-01得票数 22
回答已采纳
在查看了并进行了一些基本测试之后，我正在尝试使用keras中的LSTM创建一个NER系统。我正在使用一个生成器并调用fit_generator。
下面是我的基本keras模型：
model = Sequential([
Embedding(input_dim=max_features, output_dim=embedding_size, input_length=maxlen, mask_zero=True),
Bidirectional(LSTM(hidden_size, return_sequences=True)),
TimeDistributed(Dense(
浏览 1提问于2017-11-02得票数 1
我正试图建立一个面部表情识别模型。为此，我使用转移学习。
下面是train_generator：
IMG_HEIGHT=224
IMG_WIDTH = 224
batch_size=32
train_generator = train_datagen.flow_from_directory(
train_data_dir,
color_mode='grayscale',
target_size=(IMG_HEIGHT, IMG_WIDTH),
batch_size=batch_size,
class_mode='categori
浏览 7提问于2022-03-19得票数 0
回答已采纳
初学者使用Keras --我尝试在本地文件夹中的一系列图像上训练一个非常简单的神经网络，但是当我尝试使用fit_generator时会出错。
从…
model.fit_generator(train_batches,steps_per_epoch=33, validation_data=valid_batches,validation_steps=50,epochs=10,verbose=2)`
我知道错误了
RuntimeError: You must compile your model before using it.
尽管我在行中立即编译了这个模型，但是
model.compile(A
浏览 1提问于2018-09-26得票数 1
回答已采纳
我正在使用keras对模型进行拟合，并将回调列表传递给模型fit_generator，但遇到了下面的error.Please帮助。
AttributeError：“函数”对象没有属性“set_model”
代码片段：
from keras.callbacks import LearningRateScheduler
import numpy as np
from keras import optimizers
from keras.callbacks import *
def lr_schedule(epoch):
lrate
浏览 1提问于2019-03-31得票数 3
我正在运行这个特殊的笔记本从这个链接，这是训练cnn模型的chexpert数据集和与keras库。
然而，当我运行这个语法时，我会得到这个特殊的错误。
history = model.fit_generator(generator=train_generator,
steps_per_epoch=STEP_SIZE_TRAIN,
validation_data=validation_generator,
validation_steps=STE
浏览 23提问于2022-05-17得票数 0
回答已采纳
我编写了一个自定义生成器来加载数据集并将其输入fit_generator方法。但我搞错了。question_train、img_lis_train和answers_train是字符串列表。我希望mygen返回格式的32个样本的批次：
[images,questions] , answers
以下是代码：
def mygen(questions_train,img_lis_train,answers_train):
start = 0
data_size = len(questions_train)
batch_size = 32
while
浏览 1提问于2018-11-13得票数 4
回答已采纳
fit_generator fit和fit_generator返回了截然不同的结果，Keras的精度下降了近20%。我确实在数据生成器中使用了shuffle。我在下面附上了我的data_generator。谢谢！
def data_generator(input_x, input_y, batch_size = BATCH_SIZE):
loopcount = len(input_x) // batch_size
while True:
i = random.randint(0, loopcount - 1)
x_batch = input_x[
浏览 0提问于2018-10-04得票数 3
我试着学习在线教程(、等)，但是当使用keras TimeseriesGenerator来拟合LSTM模型时，我无法正确地获得输入维度。
为了训练，我有一个长长的numpy数组，名为dn of shape (12499896,)。然后我定义了keras TimeseriesGenerator
from keras.preprocessing.sequence import TimeseriesGenerator
look_back = 10
gen = TimeseriesGenerator(dn, dn, length=look_back, batch_size=8)
我定义了模型：
fr
浏览 1提问于2019-08-24得票数 1
我正在做图像分类，我正在努力提高我的准确性，我试图生成图像的目的，但是，我得到了一些文件路径错误，请帮助我如何做。 下面是我的代码： train_datagen = ImageDataGenerator(
rescale=1./255,
shear_range=0.2,
zoom_range=0.2,
horizontal_flip=True)
test_datagen = ImageDataGenerator(rescale=1./255)
train_generator = train_datagen.flow_from
浏览 55提问于2019-03-21得票数 0
2回答
我一直在使用Keras中的神经网络。当尝试应用递归神经网络时，我偶然发现了一个代码蓝图，但当实现代码并尝试根据我的需要进行调整时，我总是收到错误： Error occurred in generator: subscript out of bounds
Error in py_call_impl(callable, dots$args, dots$keywords) :
StopIteration:
Detailed traceback:
File "/anaconda3/envs/r-tensorflow/lib/python3.6/site-packages/ke
浏览 35提问于2019-01-10得票数 0
回答已采纳
在Keras中，fit()和fit_generator()有什么区别？
我什么时候应该使用fit()和fit_generator()？
浏览 0提问于2018-07-13得票数 29
回答已采纳
我正在使用一个数据生成器来为fit_generator提供数据。我的生成器输出的是元组(x_val, y_val, val_sample_weights)，因此显示了样本权重。这就像：
import numpy as np
import keras
import librosa
from time import time
import random
from config import *
class DataGenerator(keras.utils.Sequence):
'Generates data for Keras'
def __init__(s
浏览 0提问于2018-12-05得票数 1
回答已采纳
我正在使用Tensorflow Hub开发一个二进制文本分类器。 x_train = np.array(["Some test text",
"Testing this text",
"This is relevant to my test",
"Cows don't fly",
"One two three",
浏览 19提问于2019-12-28得票数 1
回答已采纳
我想使用keras fit_generator，我想自动拆分测试数据、验证数据，但是fit_generator不能设置keras的值。
浏览 6提问于2019-07-19得票数 0
1回答
我需要帮助，试图找出如何实现批加载与Keras。
到目前为止，我正试图用Keras制作一个歌曲分类器。我已经为10种类型分类建立了下面的模型。
model = Sequential()
model.add(Conv1D(16, 5, padding="same", input_shape=(1, 661500)))
model.add(Activation("relu"))
model.add(MaxPool1D(pool_size=2, padding="same"))
model.add(Conv1D(16, 5, padding=
浏览 1提问于2018-03-18得票数 2
回答已采纳
我试着用fit_generator()训练我的连体网络，我从这个答案中了解到：Keras: How to use fit_generator with multiple inputs最好的方法是创建你自己的生成器来产生多个数据点，我的问题是我用flow_from_directory()函数检索我的数据，我不知道这是否可能。 这是我尝试重新启用一个生成器来解决我的问题： from keras.models import load_model
from keras import optimizers
from keras.preprocessing.image import ImageDat
浏览 17提问于2019-09-14得票数 3
我试图在Model.fit_generator tensorflow 1.10中使用Keras的。
简化可复制代码：
import tensorflow as tf
import numpy as np
class TestNet(tf.keras.Model):
def __init__(self, class_count, name='TestNet', **kwargs):
super(TestNet, self).__init__(name=name, **kwargs)
self.convolution = tf.keras.
浏览 3提问于2019-09-19得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
