Tensorflow:批量太大时的OOM
TensorFlow是一个开源的机器学习框架，由Google开发和维护。它提供了丰富的工具和库，用于构建和训练各种机器学习模型。
在处理大批量数据时，有时会出现OOM（Out of Memory）错误，这是因为计算机的内存不足以容纳模型和数据。为了解决这个问题，可以采取以下几种方法：
- 减少批量大小：通过减小每个批量的样本数量，可以降低内存使用量。但这可能会导致训练速度变慢，因为每个批量的计算量减少了。
- 优化模型架构：通过简化模型的结构或减少模型中的参数数量，可以降低内存占用。例如，可以尝试减少隐藏层的节点数或降低卷积神经网络中的卷积核数量。
- 数据预处理：对数据进行预处理，例如降低图像的分辨率或裁剪音频文件的长度，可以减少内存使用。
- 分布式训练：使用分布式训练技术将计算任务分散到多台计算机上，每台计算机只需要处理一部分数据。这样可以减少每台计算机的内存使用。
- 使用低内存占用的模型：有些模型具有较低的内存占用，可以考虑使用这些模型代替高内存占用的模型。例如，MobileNet是一种轻量级的卷积神经网络，适用于移动设备和资源受限的环境。
对于TensorFlow而言，腾讯云提供了云服务器、容器服务、AI引擎等多种产品来支持TensorFlow的应用和部署。
- 云服务器：腾讯云提供高性能、可扩展的云服务器，可用于训练和部署TensorFlow模型。您可以选择适合您需求的云服务器实例，并按需调整配置。
- 容器服务：腾讯云提供容器服务（TKE），可帮助您轻松管理和部署TensorFlow容器。TKE提供高可用、弹性伸缩和自动扩展等功能，方便您快速部署和管理TensorFlow应用。
- AI引擎：腾讯云的AI引擎提供了丰富的AI算法和模型库，包括TensorFlow，可用于构建和训练机器学习模型。您可以使用AI引擎提供的API和SDK来快速开发和部署TensorFlow应用。
更多关于腾讯云相关产品和产品介绍的信息，请参考以下链接：
- 腾讯云服务器：https://cloud.tencent.com/product/cvm
- 腾讯云容器服务：https://cloud.tencent.com/product/tke
- 腾讯云AI引擎：https://cloud.tencent.com/product/aiengine
注意：由于要求不提及其他云计算品牌商，以上链接仅供参考，具体的产品选择应根据您的实际需求和喜好进行评估和决策。
相关·内容
我的脚本由于内存使用率过高而失败。当我减少批处理大小时，它就起作用了。当我在BatchSize < 10的情况下运行此张量时，一切运行正常，尽管tf.scan已经为此使用了大量内存。当我现在在一个大小为50的批处理上执行代码时，我突然得到了一个OOM，即使我是在迭代中执行它(这里注释掉了)。我应该如何执行这段代码，这样批处理大小就不重要了？tensorflow是否会将我的for循环并行化，以便一次执行多个批处理？另一个不相关的问
浏览 32提问于2020-10-08得票数 0
我知道，tensorflow.keras.model.predict()可以接收generator或numpy array，但是这个函数的输出始终是numpy array。有时输出array太大，以致于发生OOM Memory Errors。
当我调用tensorflow.keras.model.predict()时，有没有建议输出一个生成器?？
浏览 0提问于2020-08-10得票数 1
回答已采纳
1回答
ResourceExhaustedError (see above for traceback): OOM when allocating tensor with shape[20000,20,20,20,16
浏览 0提问于2017-08-28得票数 0
BatchNormalization from keras.callbacks import ModelCheckpoint
from tensorflow.python.client import device_lib
tf.app.flags.DEFINE_integerimport keras.backend.tensorfl
浏览 2提问于2017-08-29得票数 1
1回答
我正在使用tensorflow构建基于CNN的文本分类。有些数据集很大，有些数据集很小。我的问题是:网络是批量训练的，每批代码都从系统内存中检索数据。因此，无论数据集有多大，代码都应该以相同的方式处理它，对吗？但是对于大型数据集，我遇到了内存不足的问题，而对于小型数据集，它工作得
浏览 1提问于2016-06-10得票数 2
1回答
，提到了一个关于查询的示例，该查询表示数据库的批量更新，但在事务内(即原子批量更新)。这种更新的当前问题是，如果数据库非常大，可能会导致发生OOM错误。解决此问题的建议是停止ODB失败并返回OOM错误，并回滚事务，向用户发出即将发生OOM的警告，并要求用户缩小事务的范围。史考特
浏览 6提问于2016-09-22得票数 0
我希望我的应用程序自动找到可能的最大批处理大小，因此我设置了一个二进制搜索，以捕获OOM异常，如下所示：max_batch_size = 16384 else:return min_batch_size
使用正式的TensorFlow1.12 Docker映像，它开始收敛到实际的批处理大小，丢
浏览 0提问于2018-12-17得票数 1
1回答
批量初始化方阵
、、、
该任务是执行大小为(87236 X 1)的向量与大小为(87236 X 87236)的向量的下三角矩阵的乘法。 由于下三角形非常大，我不能一开始就初始化它。我遇到了tf.linalg.LinearOperationLowerTriangular()算子，它忽略了矩阵的上三角部分。x = tf.random.normal((87236, 1))
lmt.matmul(x) 下面是我得到的错误： tensorflow
浏览 14提问于2020-07-09得票数 1
使用MSVC 2015 在我引入几行新代码之前，一切都很顺利： 之前： static tensorflow::SessionOptions MakeSessionOptions() { tensorflow::SessionOptions options;
tensorflow::ConfigProtoPlugins\RotobotMaskRCNN\rotobotmaskrcnn.obj 1
浏览 13提问于2018-12-24得票数 0
我创建的图表如下：from networks import densenet lambda: logits_val)
然而，当我运行我的代码时，我得到了OOM错误。我确信这不是因为批量
浏览 0提问于2018-04-01得票数 3
我用tensorflow训练CNN与Nvidia Geforce 1060 (6G内存)，但我有一个OOM例外。
前两个时期训练过程良好，但在第三个时期得到了OOM例外。/core/framework/op_kernel.cc:1192]资源耗尽: OOM在分配张量时使用shape10,10,48,48,48，48回溯(最近一次调用)：File"/anaconda3/lib: OOM (Status)中，当分配张量时</
浏览 2提问于2017-10-27得票数 8
1回答
我正在尝试使用Keras和tensorflow后端在带有GPU的远程服务器上训练我的深度学习代码。然而，即使是GPU服务器也会声明OOM。/core/ create /op_kernel.cc:1182]资源耗尽:分配形状为13772，类型为float 2018-02-09 14:19:29.294784的张量时OOM :E tensorflow资源耗尽:分配形状为13772，类型为_device="/
浏览 3提问于2018-02-12得票数 0
我试图使用Keras在GPU上训练一个神经网络，并得到一个“资源耗尽:分配张量时的OOM”错误。它试图分配的特定张量不是很大，所以我假设以前的张量消耗了几乎所有的VRAM。错误消息附带了一个提示，提示如下：
提示:如果您希望在OOM发生时看到分配的张量列表，请将report_tensor_allocations_upon_oom添加到RunOptions中以获取当前分配信息RunOptions似乎是一个Tensorflow<
浏览 2提问于2018-04-05得票数 28
回答已采纳
我在多GPU机器上遇到了OOM，因为TF 2.3似乎只使用一个GPU来分配张量。tensorflow/core/framework/op_kernel.cc:1767] OP_REQUIRES failed at conv_ops.cc:539 : and type float on /job:localhost/replica:0/
浏览 36提问于2021-06-28得票数 1
我在github上复制了deeplab的源代码，并将所有文件配置为required.And。当我尝试运行local_tset.sh测试文件时，出现了一系列问题。我无法读取错误消息，因此我不知道哪里出了问题，也不知道从哪里开始 2019-08-23 10:39:16.486931: W tensorflow/core/common_runtime/bfc_allocator.cc******************____********___****____************************xxx
浏览 62提问于2019-08-23得票数 1
当我在2021年11月4日在Google Colab上训练我的深度学习模型时，我没有问题，该模型使用GPU实例在半小时内进行了训练，然后在Google上的默认Tensorflow为2.6。现在，在Google中将默认的tensorflow版本升级到2.7之后，相同的代码就无法工作了。我得到了OOM错误，而形状的数据(16,1024,1024,1)被转换为(16,64,1024,1024)。当我试图在我的谷歌复制# c
浏览 1提问于2021-11-24得票数 0
我知道这个问题已经在StackOverflow上解决了，但是我无法找到对NLP任务的优化。这是整个错误消息
Resource exhausted: OOM when allocating tensor with shape[51200,2
浏览 2提问于2019-05-25得票数 5
回答已采纳
1回答
我用于第一个推断的代码几乎是从AastaNV/TRT存储库复制而来的。唯一的区别是我更改了该代码，使其驻留在Inference1类中。 第二个推理作业使用第一个推理的输出来运行进一步的分析。对于这个推断，我使用tensorflow (不是TensorRT，但我假设它是在后端调用的？)使用自定义模型。此模型是从.pb文件(冻结图形)加载的。加载后，通过调用tensorflow的session.run()命令执
浏览 88提问于2019-10-14得票数 0
我正在使用python - TensorFlow '2.2.0‘在python空闲。run_opts = tf.RunOptions(report_tensor_allocations_upon_oom = True)AttributeError: module 'tensorflow' has no attribute 'RunOptions'"
但是，根据Tensorflow官方页面上这个中
浏览 3提问于2020-05-02得票数 2
回答已采纳
1回答
在Tensorflow中，我正在为我的卷积神经网络(CNN)进行超参数优化。我得到了一个错误：
ResourceExhaustedError (回溯参见上文)：OOM在分配张量时使用shape4136,1,180,432，并键入Floaton/job:localhost/replica是因为我优化了太多的超参数吗？还是存在某种维度错配？还是为正确的操作指定了超出允许范围的超参数范围？
浏览 1提问于2018-04-08得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
