我有一个非常大的模型，无法在单个GPU上训练，由于内存不足错误，批处理大小为64。有人建议我使用较小的批量。但是，如果我减小我的批处理大小，准确度就会下降。其中一种解决方案是，只需输入当前批次的一半，存储梯度，然后输入其余部分。这可以通过使用compute_gradients和apply_gradients显式完成。但是它相对不
浏览 3提问于2018-01-19得票数 1
回答已采纳
我有一个有点大的模型，它只能在小批量的GPU上训练，但我需要使用更大的批量(从其他实验中，我知道这提高了最终的准确性和收敛时间)。Caffe通过'iter_size‘选项为这个问题提供了一个很好的解决方案，它将一个批次分割成n个较小的批次，累积n个梯度，然后更新一次
如何在TensorFlow中有效地
浏览 9提问于2016-08-16得票数 1
我已经构建了一个语义分割Keras (tensorflow后端)模型，并试图在google cloud ml引擎上对其进行训练。我有大约200,000 (256x256)个图像可以在小批量(10)上训练大约100个时期。当我只使用complex_model_m_gpu类型的主设备时，1个纪元几乎要花25个小时。我不确定Keras模型如何适应多<e
浏览 11提问于2018-07-18得票数 2
我正在编写训练相对较大的RNN (128单元LSTM和一些附加层)的代码。主要的进程是在CPU上最大限度地使用内核，我想知道这是否正常，或者我是否可以优化它。在训练循环(session.run调用)中，它使用大约60-70%的GPU负载，而在一个内核上使用100%的CPU负载。请注意，数据采样
浏览 20提问于2017-03-17得票数 1
我一直在使用单个GTX Titan训练我的tensorflow再训练算法，它工作得很好，但当我尝试在再训练示例中使用多个GPU时，它不起作用，当我在Nvidia SMI中运行它时，它似乎只使用一个GPU为什么会发生这种情况，因为它在从头开始在初始模型中重新训练时使用多个gpu
浏览 5提问于2016-09-05得票数 1
回答已采纳
以前我认为更小的batch_size会导致更快的训练，但在keras的实践中，我得到了相反的结果，即更大的batch_size使训练更快。我正在实现一个示例代码，通过增加batch_size的数量，训练变得更快。这与我以前的普遍看法相反( batch_size越小，训练速度越快)，下面是示例代码： # fit modelstart = time.time()
history
浏览 41提问于2019-09-06得票数 1
我想训练我的网络(不幸的是CPU上的图像分类)，我有71.000张记录: 48x48 (灰度)图像。我用我的笔记本电脑，它有8GB内存，当我看到性能时，训练运行和一段时间后，它使用100%。model = Sequential()
model.add(Convolution2D(32, 3, 3, border_mode='same',
浏览 3提问于2017-01-26得票数 1
我使用的是NVIDIA GPU上的TensorFlow 1.9，内存为3 GB。我的小批量的大小是100MB。因此，我可能会同时在我的GPU上安装多个迷你批次。所以我的问题是，这是否可能，这是否是标准做法。例如，当我训练我的TensorFlow模型时，我在每
浏览 22提问于2018-08-06得票数 4
回答已采纳
有没有人知道还有什么可能会阻止我使用全部内存？我将在下面解释为什么我认为我被阻止使用全部内存。
我有一个非常大的Keras模型，有一个Tensorflow后端，我在AWS上运行。我可以使用batch_size 4训练，但是如果我使用batch_size 8训练，它会溢出内存。我的实例是一个p3.2xlarge，它有16 GB的GPU</e
浏览 0提问于2018-09-13得票数 0
我想使用Tensorflow API的模型SSD MobileNet v2在一个相对较大的数据集上训练对象检测器(大约3000幅图像用于训练，500幅用于测试)。我已经成功地管理了所有必要的预处理步骤，创建了train.record和test.record文件，并尝试使用train.py运行模型的培训，但是培训过程被内核所扼杀。
浏览 0提问于2018-05-22得票数 1
我的输入图片是灰色的，但对于DeepLab，我将其转换为RGB图片，因为DeepLab是在RGB图片上训练的。但我转换后的图片仍然不包含颜色。 ? ? ? 对于这项任务，我选择了一个名为DeepLab V3+的语义分割网络，在Keras中使用TensorFlow作为后端。我想用我的近3000张图片来训练神经网络。从Keras网站上，我知道了如何</e
浏览 83提问于2019-02-21得票数 6
回答已采纳
如果我有一个具有8GBRAM的GPU，并且我有一个TensorFlow模型(不包括培训/验证数据)，即10 8GB，那么TensorFlow可以训练这个模型吗？如果是，TensorFlow是如何做到这一点的？我不是在寻找分布式GPU培训。我想知道单个GPU的情况。我不关心培训/验证数据的</
浏览 0提问于2020-12-09得票数 1
1回答
在Tensorflow CIFAR教程中，它讨论了如何使用多个GPU，并给出了以下警告：
“天真地使用模型参数的异步更新会导致次优的训练性能，因为单个模型副本可能被训练在模型参数的陈旧副本上。反之，完全同步更新的速度将与最慢的模型副本一样慢
浏览 3提问于2015-12-18得票数 3
回答已采纳
我有一个经过训练的Tensorflow模型，我想用REST API提供预测方法。我能想到的是使用Flask构建一个简单的REST API，该API接收JSON作为输入，然后调用Tensorflow中的predict方法，然后将预测结果返回给客户端。
浏览 1提问于2016-04-08得票数 10
1回答
我有一个tensorflow (tf2.0)/keras模型，它使用多个GPU进行计算。模型中有2个分支，每个分支都在单独的GPU上。我有一个4个GPU的系统，我想用来训练，我想镜像这个模型，这样GPU 1和2包含一个模型，GPU 3和4包含镜像的模型。
会自动处理此镜像吗？或者它假
浏览 4提问于2019-11-04得票数 0
我正在使用Google Cloud ML Engine与tensorflow.contrib.learn.Experiment一起训练模型。默认情况下，tensorflow似乎让主服务器运行评估。我只在训练完成后才运行evals (min_eval_frequency=0)，而且我的主人有大量的内核和内存，但没有GPU (所以eval相对于P100工人来说非常慢)。我可以在一个wo
浏览 6提问于2017-11-29得票数 0
我最近构建了我的第一个TensorFlow模型(从手工编码的python转换而来)。我使用的是tensorflow- GPU，但我只想在训练中使用GPU作为后盾。对于其他的一切，我想使用CPU。我看到演示了如何在默认情况下使用GPU的系统上强制使用CPU。但
浏览 1提问于2018-11-10得票数 1
我是Jetson x2董事会的新手。
我计划在TX2板上运行我的tensorflow-gpu模型，看看它们在那里的表现如何。这些模型是在GTX GPU机上训练和测试的。在tx2板上，Jetpack full不包含tensorflow。因此，tensorflow需要构建/安装，我已经看
浏览 2提问于2018-11-23得票数 1
回答已采纳
我正在训练一个预先建立的基于tensorflow的模型，用于定制对象检测。我只想检测到一种类型的对象。我从不同的角度，在不同的光照条件下拍摄了很多照片。我正在K80 Nvidia GPU上训练。一切正常，当我训练时，我可以看到损失函数下降到0.3。但是当我开始训练的时候，损失值很快下降到1以下。我使用SSD移动
浏览 0提问于2018-06-29得票数 0
我正在训练一个预先建立的基于tensorflow的模型，用于定制对象检测。我只想检测到一种类型的对象。我从不同的角度，在不同的光照条件下拍摄了很多照片。我正在K80 Nvidia GPU上训练。一切正常，当我训练时，我可以看到损失函数下降到0.3。但是当我开始训练的时候，损失值很快下降到1以下。我使用SSD移动
浏览 1提问于2018-06-29得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
