我有一个5 5GB的大型数据集，我想用它来训练使用Keras设计的神经网络模型。虽然我使用的是Nvidia Tesla P100图形处理器，但训练速度非常慢(每个时期需要60-70秒)(我选择了batch size=10000)。经过阅读和搜索，我发现使用keras fit_generator代替典型的fit可以提高训练速度。fit_generator运行后，训练时间略有改善，但仍然很慢(现在每个时期需要大约40-50秒)。在终端运行
浏览 122提问于2019-06-28得票数 0
回答已采纳
我正在研究Keras的多gpu建模。因此，在投入时间之前，我尝试了一个来自lambdalabs的4 gpu实例上的简单跳过图模型。一个gpu的性能比Kaggle的内核稍差(在lambda实验室的gpu上内核的数量更少)。也是-我正在<
浏览 0提问于2019-07-31得票数 0
我正在尝试使用keras的fit_generator和一个tensorboard_callback来运行一个模型来分析特定的时代。/engine/training.py", line 1418, in fit_generator File "/usr/local/lib/python2.7/dist-packages/keras/
浏览 2提问于2020-01-28得票数 1
回答已采纳
1回答
我想知道keras中的fit_generator()在内存使用方面是否比使用通常的fit()方法(与生成器产生的batch_size相同)有什么优势。60000 -> # of training samples如果我将它传递到fit_generator()方法中，或者只是将所有数据直接传递到fit()方法中，并定义一个32的
浏览 1提问于2017-07-24得票数 3
回答已采纳
2回答
我有一个非常大的图像数据集(>50G，一个文件夹中的单个图像)用于培训，为了更有效地加载图像，我首先将部分图像加载到RAM中，然后发送小批到GPU进行培训。我想进一步加快数据准备过程，之前，把图像提供给GPU，并正在考虑多处理。但我不知道该怎么做，有什么想法吗？
浏览 1提问于2016-11-24得票数 0
回答已采纳
我有一个简单的Keras模型，我提交给Google平台培训，并希望利用GPU进行处理。trainingInput: masterType: standard_gpu
浏览 0提问于2019-08-14得票数 1
回答已采纳
2回答
from keras.models import Sequentialfrom keras.layers import我的GPU运行足够快，因为卷积很容易，但它有2GB的内存。因此，我甚至不能一次训练一个样本的网络。我知道，但是使用fit_generator (和TimeSeriesGenerator)要求我对序列中被分解的时间步骤的每一步都有一个标签。作为证明，当我在小型数据集中运行fit_gen
浏览 0提问于2018-03-20得票数 3
回答已采纳
我遇到了keras和tensorflow的问题，使用以下代码：from tensorflow.keras，那不是故意的，但对我来说，这似乎不合逻辑，因为这种方法对于定义更复杂的网来说是非常舒服的，而且我已经准备好使用Py手电，我很确定，这也应该适用于tf和keras。如果我对keras使用直接导入，则得到一个不同的错误：
U
浏览 0提问于2018-11-29得票数 2
回答已采纳
我使用Keras和tensorflow作为后端。我有一个编译/训练的模型。data = [ batch_0, batch_1, ... , batch_N ]on gpu_1 =>然而，我不知道这如何转化为我的情况，因为我已经使用Keras的api
浏览 3提问于2017-02-23得票数 13
回答已采纳
3回答
我想要做的是重新培训VGG16使用Tensorflow后端使用Keras识别新类型的图像数据。但是训练过程对我来说似乎很慢，在检查了我在任务管理器中的GPU性能之后，我觉得我的GPU几乎没有被使用过。这是我的代码：这就是我的任务管理器在培训期间的样子：
你可以看到GPU几乎什么都没做，为什么我的训练这么慢？我已经安装了Tensorflow-gpu 1.7.0，cuDNN 7.0.5，CUD
浏览 0提问于2018-04-18得票数 0
回答已采纳
1回答
使用不同时间步长的递归神经网络
、、、、
我使用keras构建RNN，但是当我想将时间步骤更改为不同的大小时，我会得到一个错误，但我无法完成，这里是我的虚拟数据示例import numpy asnp
from keras.models import Sequentialfrom keras.layersimport LSTM
from keras.layers import
浏览 1提问于2018-09-13得票数 1
回答已采纳
我在两个GPU上对工作负载进行了分区(也称为模型分区)。默认情况下，TF/Keras在GPU0上分配所有的渐变，但我想使用colocate_gradients_with_ops将分配分散到两个GPU上。
我正在寻找一种在Keras中做到这一点的简单方法。我的方法是创建一个新的优化器，这个优化器从tf.train.AdamOptimizer继承而来，只是为了翻转colocate_gradients_with_ops的默认值(从False到Tru
浏览 0提问于2018-09-22得票数 0
我正在尝试使用tensorflow实现一个跳过思想模型，并将当前版本放置为。
2017-09-06 11:29:32.657299: I tensorflow/core/common_runtime/gpu我试着调试如下： logger.inf
浏览 4提问于2017-09-06得票数 54
查看图层函数(继承自Keras)，我发现：和两者有什么不同？如果你看看他们的论点，他们看起来是一样的。
浏览 0提问于2019-06-26得票数 3
回答已采纳
我使用Keras构建了一个基于CNN结构的自动编码器模型，在完成训练过程后，我的笔记本电脑有64 GPU的内存，但我注意到至少1/3的内存仍然被占用，GPU内存也是如此。我没有找到释放内存的好方法，我只能通过关闭Anaconda提示符命令窗口和jupyter笔记本来释放内存。我不确定是否有人有好的建议。谢谢!
浏览 3提问于2018-06-24得票数 20
我有一个关于Keras和其他TF包装的训练性能的问题，比如Tensorpack。在期间，Keras的作者指出，该包不需要任何性能成本：
Tensorpack训练器几乎总是比基于feed_dict的包装器快
浏览 3提问于2017-07-31得票数 4
回答已采纳
我正在开发一个基于旧版本Keras的模型，当我想使用多gpu时，他们会按如下方式导入： multi_model = multi_gpu_model(myModel, gpus=args.gpus)from tensorflow.keras import utils as multi_gpu_model
这会给我带来一个错误：
浏览 2提问于2021-08-25得票数 0
x_val), verbose=1对于更复杂的数据集，几乎不可能在内存中加载所有内容，因此我们需要使用fit_generator()来训练模型。是否有任何解决方法来处理fit生成器错误？\python\keras\engine\training.py"，第2177行，在fit_generator initial_epoch=initial_epoch中)
文件"x
浏览 0提问于2019-12-11得票数 0
回答已采纳
上下文def generator(data: np.array) -> (np.array, np.array问题是:使用这个版本的threadsafe生成器Keras仍然会发出警告:在使用workers > 1和use_multiprocessing=True时，生成器必须是线程安全，并且可以通过使用Sequences是<
浏览 0提问于2019-06-04得票数 8
回答已采纳
我使用张量流版本：
initial_epoch=initial_epoch) File " lib/python3.5/site-packages/site-packages/keras/engine/training.py", line 1890, in fit_generator
浏览 12提问于2017-05-28得票数 46
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
