为什么使用Tensorflow加载训练批次时会出现内存泄漏？
TensorFlow是一个开源的机器学习框架，用于构建和训练各种机器学习模型。在使用TensorFlow加载训练批次时，可能会出现内存泄漏的问题。下面是对这个问题的完善且全面的答案：
内存泄漏是指程序在分配内存后，无法释放已经不再使用的内存空间，导致内存占用不断增加，最终耗尽系统的可用内存。在TensorFlow中，加载训练批次时可能会出现内存泄漏的原因主要有以下几点：
- 数据加载问题：在训练过程中，如果数据加载不当，比如没有正确释放已经使用过的数据，或者没有及时清理不再使用的数据，就会导致内存泄漏。这可能是由于代码中没有正确处理数据加载和释放的逻辑，或者使用了不合理的数据结构导致的。
- 模型结构问题：TensorFlow的模型结构可能会导致内存泄漏。例如，如果模型中存在大量的参数或者计算图过于复杂，就会占用大量的内存资源。如果没有正确管理这些资源，就会导致内存泄漏。
- 资源释放问题：在TensorFlow中，使用完毕的资源，如张量（Tensor）、会话（Session）等，需要手动释放。如果没有正确释放这些资源，就会导致内存泄漏。这可能是由于代码中没有正确调用相应的释放函数，或者使用了不合理的资源管理策略导致的。
为了解决TensorFlow加载训练批次时可能出现的内存泄漏问题，可以采取以下措施：
- 合理管理数据加载和释放：确保在加载数据时，及时释放已经使用过的数据，避免数据积累导致内存泄漏。可以使用TensorFlow提供的数据加载和处理函数，如tf.data.Dataset等，来规范数据加载和释放的过程。
- 优化模型结构：对于复杂的模型结构，可以考虑进行优化，减少参数数量或简化计算图，以降低内存占用。可以使用TensorFlow提供的模型优化工具，如tf.keras等，来简化模型结构。
- 正确释放资源：在使用完毕的资源，如张量、会话等，需要手动调用相应的释放函数进行释放。确保在适当的时机释放资源，避免资源积累导致内存泄漏。可以参考TensorFlow官方文档或相关教程，了解如何正确释放资源。
总结起来，使用TensorFlow加载训练批次时可能出现内存泄漏的原因主要包括数据加载问题、模型结构问题和资源释放问题。为了解决这个问题，需要合理管理数据加载和释放、优化模型结构以及正确释放资源。通过这些措施，可以有效避免内存泄漏问题，并提高TensorFlow训练的效率和稳定性。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云机器学习平台（https://cloud.tencent.com/product/tensorflow）
- 腾讯云数据集成服务（https://cloud.tencent.com/product/dts）
- 腾讯云容器服务（https://cloud.tencent.com/product/tke）
- 腾讯云函数计算（https://cloud.tencent.com/product/scf）
- 腾讯云数据库（https://cloud.tencent.com/product/cdb）
- 腾讯云安全产品（https://cloud.tencent.com/product/safe）
相关·内容
我正在使用Tensorflow MirroredStrategy在2个GPU上并行训练神经网络。使用单个GPU时，每个时期需要19秒才能完成，而使用2个GPU时，每个时期需要13秒才能完成。我对此并不感到惊讶，因为我知道由于在训练期间更新变量的all_reduce开销，缩放并不完美。 然而，在分布式训练的每个时期之后，有大约8秒的暂停。当使用单个GPU时，此暂停时间少于1秒。有没有人知道为什么在分发训练时，每个时代之后都会有这么长的停顿？ 或者，有人能解释一下分布式训练在时代结束时会发生什么不同的情况吗？
浏览 17提问于2020-07-02得票数 0
我将用1080ti(11 GPU )GPU来训练一个使用seq2seq包的模型。使用不同网络的大小(甚至)总是会出现以下错误：
I tensorflow/core/common_runtime/gpu/gpu_device.cc:885] Found device 0 with properties:
name: Graphics Device
major: 6 minor: 1 memoryClockRate (GHz) 1.582
pciBusID 0000:03:00.0
Total memory: 10.91GiB
Free memory: 10.75GiB
I tensorflow
浏览 3提问于2017-04-18得票数 0
回答已采纳
我已经在tensorflow上使用我的定制数据集对ssd_mobilenet_v2_coco进行了培训。此外，我也用我的数据集训练了YOLO。我解决了所有的问题，它们都起作用了。
这两种模式我都遇到了问题。当我的数据集包含大于400 do的图像时，经过训练的模型不能工作。有时会出现"allocation of memory"问题。我用改变参数(批次大小等)来解决这些问题。但是当我们准备数据集时，我仍然不知道图像大小是否有限制？
为什么超过400‘s的图像是我的系统的问题？我的问题不是关于像素大小，而是关于图像文件的大小。
谢谢..。
系统信息
Nvidia RTX 2060
浏览 2提问于2019-07-30得票数 1
回答已采纳
为什么Tensorflow中Keras API的函数接受batch_size？据我所知，这个参数应该只与管理我们在训练期间每次迭代使用的样本数有关。在模型评估过程中，这种选择有什么影响？
浏览 1提问于2020-05-21得票数 1
我在CPU上使用TensorFlow运行一个简单的卷积神经网络，使用Python/Numpy从磁盘加载数据并准备数据。Python/Numpy部分消耗的内存非常少，因为我只加载了32个1MB的图像。
然而，在运行sess.run(AdamOptimizer)的情况下，内存使用量达到了天文数字的峰值，如下面的输出所示，其中显示了4个训练周期和一个测试周期。
12 or的峰值限制了我的批次大小、并发训练网络的数量或我的层的大小。我认为这个峰值与从Python到TF的数据传输或正向激活有关，因为它在sess.run(accuracy)语句中等效存在。
是不是我的CNN图表设计得很糟糕？谁能指出
浏览 15提问于2017-06-25得票数 2
回答已采纳
当我的对象检测Tensorflow 2.5GPU模型启动训练时，我得到了一个资源扩展错误。我使用了18张训练图像和3张测试图像。我正在使用的预训练模型是来自Tensorflow动物园2.2的更快的using ResNet101 V1 640x640型号。我正在使用一个带有8GB专用内存的Nvidia RTX 2070来训练我的模型。
我感到困惑的是，为什么训练过程在训练集如此小的时候占用了GPU的这么多内存。这是GPU内存的总结，我认为这是一个错误：
Limit: 6269894656
InUse: 61034
浏览 4提问于2021-10-12得票数 1
回答已采纳
当我训练tensorflow模型时，它通常会在每次迭代中输出类似于下面一行的信息 INFO:tensorflow:loss = 1.9433185, step = 11 (0.300 sec) 打印的损失是模型当前看到的批次的损失，还是所有先前训练批次的运行平均损失？ 如果我使用批次大小为1的批次，即每批只有一个训练样本，那么打印的损失将是每个样本单独的损失，或者它是运行平均损失吗？
浏览 57提问于2021-08-23得票数 1
2回答
完全卷积网络训练图像大小
、、、、
我正在尝试使用TensorFlow复制用于语义分割的完全卷积网络的结果。
我被困在将训练图像输入到计算图中。全卷积网络使用VOC PASCAL数据集进行训练。然而，数据集中的训练图像具有不同的大小。
我只想问他们是否对训练图像进行了预处理，使它们具有相同的大小，以及他们是如何对图像进行预处理的。如果没有，他们是否只是将不同大小的图像批量输入FCN？是否可以将一批不同大小的图像输入到TensorFlow的计算图中？有没有可能使用队列输入而不是占位符呢？
浏览 2提问于2016-08-20得票数 6
2回答
我有一个由36个数据点组成的训练集。我想在上面训练神经网络。我可以选择批次大小，例如1、12或36 ( 36可以除以的每个数字)。
当然，当我增加批处理大小时，训练运行时会大大减少。
如果我选择12作为批次的大小而不是1，会有什么缺点吗？
浏览 5提问于2015-07-15得票数 2
回答已采纳
该模型主要构建在inception和LSTM之上，并由Keras在TensorFlow2.x上实现。保存的模型参数仅占用2M空间。该模型是动态训练的，批次大小为32，每批0.25M的数据量。使用use_multiprocessing=True的model.fit_generator中的工人是20岁。
然而，我观察到它需要1G的GPU内存。我找不到原因，也不知道在训练期间可以使用哪些工具来监控模型不同部分的GPU内存成本。
下面显示了模型的详细信息：
浏览 0提问于2021-04-20得票数 0
2回答
我正在MNIST上训练自动编码器，并注意到在128之后增加批处理大小，在固定的数据集大小上开始花费更多的计算时间。
我使用的是tensorflow-gpu和GeForce gtx1070。
我尝试在5000个样本(784个dim)的固定训练集上运行几个测试，并运行了10个时期。批次是5000个训练样本中的连续batch-size块，因此迭代次数实际上取决于批次大小。
我跟踪了该数据的性能(丢失)、执行时间和python进程的GPU内存使用情况(来自nvidia-smi输出)：
5000 datapoints 10 epochs
batch size
512: loss: 53.7
浏览 1提问于2019-04-30得票数 3
我在Google云上训练了一个巨大的神经网络(尺寸更大、类更多的胶囊网络)。这个网络需要大约400 GB的RAM和4个GPU来训练它而不会崩溃。理论上，我听到的是神经网络可以在普通PC上执行预测。但是，考虑到培训所需的资源如此之多，是否仍有可能下载tensorflow检查点并在我的膝上型计算机上运行网络以进行预测？
浏览 4提问于2020-04-04得票数 1
11回答
我通过google训练我的CNN (VGG)并生成.h5文件。现在的问题是，我可以通过google成功地预测我的输出，但是当我下载经过.h5训练的模型文件并尝试在我的笔记本电脑上预测输出时，我在加载模型时会出现错误。
以下是代码：
import tensorflow as tf
from tensorflow import keras
import h5py
# Initialization
loaded_model = keras.models.load_model('./train_personCount_model.h5')
而错误是：
ValueError: Unk
浏览 6提问于2018-11-07得票数 37
回答已采纳
我从核心iOS库中得到了奇怪的内存分配，见仪器分配(Malloc 1.00KB)，它不断上升并导致应用程序崩溃(iPad)。
该应用程序允许用户浏览文章( webview中的正文、标签中的标题/作者/日期)--在加载每个新的视图控制器时出现的问题(先前的视图控制器被释放/释放--这不是问题)。
以下"CGGLyphBitmapCreate"，"CGFontSetStrikeValue“分配只在为UILabel设置了.text属性时才发生: CoreGraphics .text有时显示6或7次(每个1KB)，但每次加载视图时至少显示一次。
此外，Foundation &#
浏览 1提问于2011-08-17得票数 4
假设我们有价值500 000项的训练数据，我们是一次训练一个项目，还是一次训练“n”项，还是一次全部训练？
认为inputTrainingData和outputTrainingData是[[]]，train_step是任何通用的tensorflow训练步骤。
选项1一次只训练一个项目-
for i in range(len(inputTrainingData)):
train_step.run(feed_dict={x: [inputTrainingData[i]], y: [outputTrainingData[i]], keep_prob: .60}, session= sess)
浏览 4提问于2017-03-03得票数 1
回答已采纳
2回答
我在做一个声音识别项目。
我有1500个有标签的声音样本，分为5类。(300个声音样本，每级持续2秒)。
我正在使用一个在线工具来计算MFCC系数(例如，脉冲)(所以我不能提供代码)，然后我正在训练一个神经网络。
数据集被分割：
80% -> 80/20分割的培训集--培训/验证
20% ->测试集
经过200个训练周期后，我的网络的第一个发行版(非常糟糕)表现如下：
训练精度= 100 %/验证精度= 30 %
通过在网上和这个论坛上搜索，我找到了减少过度拟合的方法：
我上一次发布的神经网络的最终性能如下：
训练精度= 80 %/验证精度= 60 %(经过200个
浏览 5提问于2020-04-15得票数 0
在使用TensorFlow.js定义了模型之后，您可以运行model.fit()来训练它。此函数接受许多参数，包括一个配置对象。此对象具有属性batchSize。刚刚说：
每个梯度更新的样本数。如果未指定，则默认为32。
虽然这可能是一个技术上正确的答案，但它并没有真正的帮助。我为什么要改这个号码？我已经意识到，如果我增加它，训练就会变快，如果我减少它，它就会变慢。但我到底在这里改变了什么？我为什么要改变它？我需要注意什么？
有什么线索吗？
浏览 4提问于2020-04-04得票数 10
回答已采纳
1回答
题目中的问题已经完成。“如何确保训练阶段不会面临OOM?”
只是一些旁注，根据我的经验，有两个OOM的案例。一是当您的模型和小型批处理所需的内存大于您的内存时。在这种情况下，培训阶段永远不会开始。解决这个问题的方法是使用较小的批处理大小。即使我能计算出硬件能够为某些特定型号管理的最大批处理大小，也是很棒的。但是，即使我在第一次尝试中找不到最大的批处理大小，我仍然可以通过一些尝试和错误来找到它(因为这个过程马上就失败了)。
我面对OOM的第二个场景是训练过程开始的时候，它会持续一段时间。甚至是几个时代。但是由于一些未知的原因，它面临着OOM。对我来说，这是一个令人沮丧的场景。因为它随时都有可能发
浏览 3提问于2019-10-13得票数 7
当使用Tensorflow训练网络时，我们如何减少GPU的空闲时间？
要这样做:-
我使用多个Python线程对数据进行预处理，并将其提供给tf.RandomShuffleQueue，TensorFlow从那里获取数据。
我认为这将比feed_dict方法更有效。
然而，在执行nvidia-smi时，我仍然发现我的GPU仍然从100%利用率转到0%利用率，并且经常返回到100%。由于我的网络很大，而且数据集也很大，所以任何关于加速的富有成效的建议都是非常有用的。
我认为直接从tf.Queue读取数据比从feed_dict读取数据更正确吗？
注意：我正在使用一个12 GB的泰坦X G
浏览 2提问于2017-04-19得票数 2
我使用的是NVIDIA GPU上的TensorFlow 1.9，内存为3 GB。我的小批量的大小是100MB。因此，我可能会同时在我的GPU上安装多个迷你批次。所以我的问题是，这是否可能，这是否是标准做法。
例如，当我训练我的TensorFlow模型时，我在每个时期运行类似这样的东西：
loss_sum = 0
for batch_num in range(num_batches):
batch_inputs = get_batch_inputs()
batch_labels = get_batch_labels()
batch_loss, _ = sess.run([
浏览 22提问于2018-08-06得票数 4
回答已采纳
1回答
我在一台有两个GPU的机器上运行TensorFlow，每个GPU有3 GB内存。我的批处理大小只有2 2GB，所以可以放在一个GPU上。使用两个GPU(使用CUDA_VISIBLE_DEVICES)进行训练有什么意义吗？如果我这样做了，TensorFlow将如何分发培训？
浏览 15提问于2018-08-08得票数 0
1回答
我不得不说，这可能是我遇到过的最奇怪的问题之一。
我正在实现ResNet，用tensorflow在cifr-10上执行10分类.训练阶段损失逐渐减少，训练集的准确性持续提高到90%以上，但在推理过程中，结果完全异常。
我已经非常仔细地分析了我的代码，并排除了在输入数据或保存/加载模型时出错的可能性。因此，训练阶段和测试阶段的唯一区别在于批量归一化层。
对于BN层，我直接使用了tf.layers.batch_normalization，我认为我已经注意到了使用tf.layers.batch_normalization时的每一个陷阱。
具体来说，我已经将train_op的依赖项包括如下，
upda
浏览 0提问于2019-01-07得票数 1
回答已采纳
我在写一个脚本，有时会泄露张量。这种情况可以在多种情况下发生，例如，当我训练一个神经网络时，但是训练会崩溃。在这种情况下，训练会中断，并且不会正确地处理张量。这会导致内存泄漏，我正试图通过释放未使用的张量来清除这个漏洞。
示例
在下面的片段中，我正在训练两个(非常简单)的模型。第一次运行将工作，并将导致没有泄漏的张量(训练前的张量=训练后的张量)。第二次，我使用无效的reshape层强制在训练期间崩溃。因此，抛出一个错误，数据集中的张量(我猜是？)不会得到正确的处理。该代码是一个示例，可以说明张量如何泄漏。
async function train(shouldCrash) {
con
浏览 0提问于2019-06-09得票数 13
回答已采纳
我使用的是带有tf.data.Dataset的tensorflow-2图形处理器。在小模型上进行训练是可行的。
当训练一个更大的模型时，首先，一切都可以正常工作:使用gpu，第一个时期工作没有问题(但我使用了大部分gpu内存)。
在验证时，我遇到了一个具有各种分配的CUDA_ERROR_OUT_OF_MEMORY，其中不能分配的字节越来越少(从922Mb到337Mb)。我目前没有指标，也没有回调，正在使用tf.keras.Model.fit。如果我删除验证数据，训练将继续。
我的问题是什么？我如何调试它呢？
在tf1中，我可以使用RunOptions(report_tensor_allocat
浏览 2提问于2020-03-30得票数 5
很抱歉，如果我的问题相对简单，但我最近一直在接近TensorFlow的比特，目的是学习新的技能。在中，但是有几件事情我无法理解：
在探索数据部分，数据集的大小分别返回为60/10k的训练和测试。
火车/测试车的大小在哪里声明的？
像SkLearn这样的包允许在调用拆分方法时以百分比指定这个值。
在训练模型部分，当五个时代被训练时，1875年的数字出现在下面。
那是什么？-我原以为训练会超过60000项，但即使把1875年乘以5，这个数字也达不到10k。
浏览 2提问于2020-04-14得票数 0
回答已采纳
我正在tensorflow 2.3.0中训练一个yolov4 (完全卷积)。
我想在训练过程中改变网络的空间输入形状，以进一步调整权重以适应不同的尺度。
这个是可能的吗？
编辑:我知道darknet的存在，但我在我的repo中使用并实现了一些非常具体的增强，这就是为什么我明确要求tensorflow的原因。
更准确地说我想做什么。
我想在Y1xX1xC训练几个批次，然后将输入大小改为Y2xX2xC，然后再次训练几个批次，依此类推。
浏览 0提问于2021-04-15得票数 1
我们有tensorflow应用程序，其中我们通过以250为一批的队列提供数据。在改用VarLenFeature (而不是FixedLenFeature)之后，我们在训练期间开始出现内存泄漏，内存不断增加。我们正在使用GPU机器训练我们的模型。
这是解码代码：
@staticmethod
def decode(serialized_example):
features = tf.parse_example(
serialized_example,
# Defaults are not specified since both keys are requir
浏览 0提问于2017-09-26得票数 0
1回答
当LSTM状态被重置时
、、、
我正在尝试使用tensorflow实现一个LSTM神经网络来进行关键字检测。我给神经网络输入了400ms的序列。然而，在训练期间，我不希望LSTM在尝试学习序列6时记住序列1。那么，如何在训练期间重置LSTM的状态呢？outputs, state = rnn.rnn(cell, inputs, initial_state=self._initial_state)参数中的initial_state是否允许在输入整个批次后重置LSTM的内存？
我试图通过这个链接来理解它的实现：
浏览 13提问于2016-08-01得票数 1
1回答
我对tensorflow如何处理内存有一些困难。在这个玩具示例每次迭代之后，我想从我的记忆中删除张量。
我正在使用tensorflow EagerExecution。我试过用变量和简单的张量。tf.assign不做这项工作。越来越多的内存被使用。为了能计算梯度，我想这是正常的。即使在每次迭代结束时应用一些虚拟优化器，内存也不会释放(更准确地说，有时会发生这种情况，但总体趋势是内存使用量正在增加)。
那么，是否可以手动删除呢？
import tensorflow as tf
import tensorflow.contrib.eager as tfe
import numpy as np
imp
浏览 2提问于2018-05-31得票数 3
3回答
我想要做的是重新培训VGG16使用Tensorflow后端使用Keras识别新类型的图像数据。
但是训练过程对我来说似乎很慢，在检查了我在任务管理器中的GPU性能之后，我觉得我的GPU几乎没有被使用过。
这是我的代码：
这是我的控制台中的输出：
这就是我的任务管理器在培训期间的样子：
你可以看到GPU几乎什么都没做，为什么我的训练这么慢？尝试不同的设置是很痛苦的，因为每次训练要花费20-60分钟，这取决于时间的长短。
我已经安装了Tensorflow-gpu 1.7.0，cuDNN 7.0.5，CUDA9.0和Keras2.1.5。我在运行NVIDIA GeForce 940‘m
编辑：，我解
浏览 0提问于2018-04-18得票数 0
回答已采纳
3回答
我使用netbeans 6.5开发了一个条形码计费和库存软件。我不知道为什么当应用程序运行一段时间后，有时会出现JAVA堆栈(内存不足)错误。我知道有一些方法可以处理netbeans中的内存分配。有没有人能帮我这个忙..
谢谢
浏览 0提问于2010-08-09得票数 2
现在我们已经使用TensorFlow训练和导出了一个模型。我们可以使用这个模型来实现推理服务，就像tensorflow/serving一样。
我有一个关于tf.Session对象是否是线程安全的问题。如果是真的，我们可以在启动后初始化对象，并使用单例对象来处理并发请求。
浏览 34提问于2016-08-01得票数 14
回答已采纳
2回答
我的问题与构建推荐系统有关。我正在使用tensorflow使用user_features、item_features和交互来训练模型。
如何处理新数据？
例如，每当用户点击一个项目时，我希望立即记录该交互，并从该交互中学习(针对该交互训练模型)。我该怎么做呢？
当前实现
现在，我遵循的是先训练模型，然后进行预测的传统方法。为了处理新的交互，我必须重新初始化图形，并使用所有数据重新训练以使其工作。
我希望对此有一些解决方案。
谢谢
浏览 1提问于2018-09-03得票数 4
我被这个问题弄糊涂了好几天..。
我的问题是，为什么训练时间有如此巨大的差异，我把batch_size设置为"1“和"20”为我的发电机。
如果我将batch_size设置为1，则1纪元的训练时间约为180 ~ 200秒。如果将batch_size设为20，则1纪元的训练时间约为3000 ~ 3200秒<code>E 219</code>。
然而，这些训练时间之间的这种可怕的差异似乎是异常的.因为它应该是相反的结果: batch_size = 1，训练时间-> 3000 ~ 3200秒。batch_size = 20，训练时间为-> 180
浏览 3提问于2017-04-17得票数 37
回答已采纳
问题是在推理时使用tensorflow.keras.models.load_model加载网络模型时会有很大的差异。如果我使用keras.models.load_model加载模型，推理速度比tensorflow.keras库快3倍。 模型存储在.h5文件中。可能只有一件事是“错误的”：首先我使用keras库训练并保存了模型，但(由于代码演变后的其他导入冲突)现在我使用tensorflow.keras加载它。 库版本包括： tensorflow==2.2.0
tensorflow-estimator==2.2.0
tensorflow-metadata==0.22.0
Keras==2.3.
浏览 32提问于2020-06-25得票数 0
摘要和测试用例
核心问题是Tensorflow将OOM分配抛到一个批上，而这并不是我所期望的第一批。因此，我认为有一个内存泄漏，因为所有的内存显然没有释放后，每一批。
num_units: 50, batch_size: 1000; fails OOM (gpu) before 1st batch as expected
num_units: 50, batch_size: 800, fails OOM (gpu) before 1st batch as expected
num_units: 50, batch_size: 750; fails OOM (gpu) after 10th ba
浏览 18提问于2017-12-10得票数 6
回答已采纳
我是机器学习和Tensorflow的新手。我有一个关于TensorFlow分布式训练的问题。我读过关于多GPU环境的文章，它看起来很有可能(https://www.tensorflow.org/guide/using_gpu)。 但是，如果多台计算机具有多个GPU，情况会怎样呢？是否可以在几台机器之间分配机器训练任务？是否有特定的算法/任务，需要这样的分布或多个GPU就足以进行机器学习？这会有需求吗？ 谢谢
浏览 8提问于2019-06-15得票数 1
回答已采纳
1回答
数据并行性对训练结果的影响
、、、、
我目前正在尝试使用Tensorflow网络实现多GPU培训。一种解决方案是每个GPU运行一个模型，每个GPU都有自己的数据批，并在每次训练迭代之后组合它们的权重。换句话说，“数据并行”。
例如，如果我使用两个GPU，与它们并行训练，然后组合它们的权重，那么与在一个GPU上进行这两个数据批的训练相比，产生的权重不应该是不同的吗？因为两个GPU具有相同的输入权重，而单个GPU为第二批修改了权重。
这种差异仅仅是边际的，因此与多次迭代后的最终结果无关吗？
浏览 4提问于2016-11-17得票数 3
回答已采纳
我用tensorflow训练CNN与Nvidia Geforce 1060 (6G内存)，但我有一个OOM例外。
前两个时期训练过程良好，但在第三个时期得到了OOM例外。
tensorflow/core/common_runtime/bfc_allocator.cc:277] **************************************************************************************** ============================ 2017-10-27 11:47:30.219130: W*xxxxxx 2017-1
浏览 2提问于2017-10-27得票数 8
我有两个GPU，NVIDIA GTX 1070 Ti。对于在TensorFlow后端使用Keras，我是否应该将它们与SLI连接起来？如果没有，那么他们将被单独对待，一个模型将被训练在一张卡片上。这是我到目前为止所理解的两个选择。谢谢。
浏览 0提问于2019-03-08得票数 2
回答已采纳
1回答
我用100000个样本在Keras中训练了一个通用模型，并取得了良好的性能。然后，对于特定样本，我希望使用训练的权重作为初始化，并继续优化权重，以进一步优化特定样本的损失。
然而，出现了这个问题。首先，我通过keras轻松地加载训练过的权重，然后对一个特定样本的损失进行评估，该损失与模型训练过程中验证损失的损失非常接近。我认为这是正常的。然而，当我使用训练后的权重作为输入，并进一步优化model.fit()对一个样本的权重时，损失是非常奇怪的。比评价结果高得多，经过几个时期后逐渐恢复正常。
我认为奇怪的是，对于同一个简单的和加载相同的模型权重，为什么model.fit()和model.eval
浏览 0提问于2018-12-23得票数 0
我已经有了一个训练13万句句子的模型。
我想用双向lstm对句子进行分类。我们计划使用这项服务。然而，在整个服务过程中，必须继续对该模式进行培训。
因此，我认为，直到模型的准确性提高，我将查看模型分类的句子，我将自己回答它们。
我会训练句子来回答。
一个接一个地训练句子和把它们合并成一个文件来训练它们有什么区别吗？
每次我一个接一个的训练，有什么关系吗？
浏览 0提问于2019-01-25得票数 0
回答已采纳
在将tensorflow图像更新到过去训练的22.01-tf2-py3，模型之后，现在给我一个内存错误。Tensorflow似乎使用的是系统内存，而不是GPU，程序初始化后停止。
在进行了一些研究之后，我发现问题在于在运行GPU时为该进程分配的CPU/系统内存。另外，GPU上的tf进程比数据集的大小占用更多的内存。
根据我所读到的，tensorflow将输出张量从GPU内存复制到CPU。我不明白为什么更新图像后会出现这个问题？我怎么才能修好它呢？
#编辑:我的网格搜索循环有太多的参数，当我把它简化为一个模型时，它确实是训练的，有意义吗？当我进入循环时，它是否预先加载所有模型？
#ED
浏览 5提问于2022-02-28得票数 -1
1回答
我很难弄清楚为什么我的训练在训练中被战警杀死了。
该程序可以正常运行约50%的总训练周期。然后在最后的几个周期里，整个程序就会被消灭。
tensorflow是否在训练时消耗更多的内存？还是在训练中使用一定数量的记忆？
注意:我只运行在虚拟机上的Tensorflow cpu版本上。
浏览 0提问于2017-07-13得票数 0
回答已采纳
1回答
在文件中：
TensorFlow:一个大型机器学习系统( machine，Paul，Jianmin，Zhifeng .)
“步态时间”或“训练步幅时间”是什么意思？为什么不简单地利用火车时间呢？
浏览 1提问于2017-04-10得票数 4
回答已采纳
最近，我已经将我的建模框架转换为使用自定义的Tensorflow 和，并且总体上对这个工作流非常满意。
但是，我刚刚注意到了dataset_input_fn如何加载数据表单tfrecords的问题。我的输入函数是以Tensorflow文档中的为模型的。当我有比RAM更多的例子时，问题就出现了。如果我有1e6示例，并将洗牌buffer_size设置为1e5，则1e5示例的子集将被选中一次，然后遍历。这意味着我的模型只训练在10%的数据集上。设置此行为的代码正是从借用来的。
dataset = dataset.map(parser)
dataset = dataset.shuffle(buffer
浏览 2提问于2018-01-31得票数 6
回答已采纳
1回答
我正试图在python中训练一个神经网络(backprop +梯度下降)，我在google图书2克(英文)的基础上构建了它的功能，它最终将是大约10亿行数据，每行有20个功能。这将很容易超过我的内存，因此使用内存中的数组(如numpy )将不是一个选项，因为它需要加载完整的训练集。
我研究了numpy中的内存映射，它可以解决输入层的问题(这是只读的)，但我也需要在网络中存储和操作我的内部层，这需要大量的数据读写，并且考虑到数据的大小，性能在这个过程中至关重要，因为它可以为我节省处理时间。
是否有一种方法可以训练模型，而不必为每一次成本(损失)最小化的迭代加载完整的训练集？
浏览 0提问于2016-02-07得票数 0
回答已采纳
最近，我使用Tensorflow和PyTorch实现了一个VGG-16网络，数据集是CIFAR-10.每张图片为32 * 32 RGB。
一开始我使用64批大小，而我发现PyTorch使用的GPU内存比tensorflow少得多。然后我做了一些实验，得到了一个数字，张贴在下面。
经过一些研究，我知道了tensorflow使用BFC算法来管理内存。因此，它可以解释为什么tensorflow的内存使用减少或增加到2048年，1024，.MB，有时当批处理大小更大时，内存使用不会增加。
但是，我仍然感到困惑，为什么当批处理大小为512时，内存使用量会低于批处理大小为384、448等的批处理
浏览 0提问于2017-11-27得票数 10
1回答
修正训练后丹森流模型的批量
、、、、
我正在使用可变批次大小(输入: None，320,240，3)在Tensorflow中训练一个模型。问题是在训练后的量化过程中，我不能有任何动态输入，因此没有“无”，而使用edgetpu编译器时，批大小不能大于1。
我目前的方法是再训练一次，固定的批次为1，但这有点乏味。
是否可以将投入从零、320、240、3改为1,320、240、3或320、240、3，而不必再进行一次培训？
浏览 5提问于2021-10-12得票数 2
我是机器学习的新手。我运行了两个类似的ML作业，它们仅在GCP的config.yaml文件中不同，特别是scaleTier:。运行的第一份工作，只有scaleTier: STANDARD_1，并获得了大约93%的准确性。采用相同的Tensorflow记录，并将scaleTier调整为scaleTier: PREMIUM_1，准确度下降到50%左右。增加ML训练单元的数量是否会降低模型的准确性？
关于这个问题，有两个问题:为什么精确度会大幅度下降，其中的工作是什么？
浏览 1提问于2017-11-16得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
