如何在TensorFlow中的多gpu设置中使用批处理标准化？
在TensorFlow中的多GPU设置中使用批处理标准化可以通过以下步骤实现：
- 导入必要的库和模块：import tensorflow as tf from tensorflow.keras.layers import BatchNormalization
- 创建模型并定义多GPU策略：strategy = tf.distribute.MirroredStrategy() with strategy.scope(): # 创建模型 model = create_model()
- 在模型中添加批处理标准化层：model.add(BatchNormalization())
- 编译和训练模型：model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy']) model.fit(train_dataset, epochs=10)
在上述代码中，我们使用了tf.distribute.MirroredStrategy()来定义多GPU策略，该策略将模型复制到每个可用的GPU上，并在每个GPU上计算梯度。然后，我们使用strategy.scope()将模型的创建和训练限定在多GPU策略的范围内。
批处理标准化层（BatchNormalization）是一种常用的技术，用于加速神经网络的训练过程并提高模型的性能。它通过对每个批次的输入进行标准化，使得模型对输入数据的变化更加稳定。批处理标准化层可以在模型的任何层之后添加，以提高模型的训练效果。
推荐的腾讯云相关产品：腾讯云AI智能机器学习平台（https://cloud.tencent.com/product/tiia）、腾讯云GPU云服务器（https://cloud.tencent.com/product/cvm_gpu）、腾讯云容器服务（https://cloud.tencent.com/product/ccs）。
请注意，本回答仅提供了在TensorFlow中使用批处理标准化的基本步骤，实际应用中可能需要根据具体情况进行调整和优化。
相关·内容
我正在使用“朋友对话”作为一个数据集来训练使用GPT-2进行会话AI，然而，这表明我已经没有记忆了。我知道这个问题已经在StackOverflow上解决了，但是我无法找到对NLP任务的优化。
我已经尝试将批处理大小设置为50 (我的数据集大约有60k行)。我一直在关注这个关于在自定义数据集中重新培训GPT-2的。
我的系统规格是: OS: Windows 10 RAM: 16 GB CPU: i7第8代GPU: 4GB Nvidia GTX 1050 GTX
这是整个错误消息
Resource exhausted: OOM when allocating tensor with shape[5
浏览 2提问于2019-05-25得票数 5
回答已采纳
我的GPU不被Keras/TensorFlow使用。
为了使我的GPU与tensorflow一起工作，我通过pip安装了tensorflow-gpu (我在Windows上使用Anaconda )
我有nvidia 1080
print(tf.test.is_gpu_available())
True
print(tf.config.experimental.list_physical_devices())
[PhysicalDevice(name='/physical_device:CPU:0', device_type='CPU'),
Physica
浏览 2提问于2019-10-18得票数 7
回答已采纳
我正在尝试运行一个tensorflow项目，并且在大学HPC集群中遇到了内存问题。我必须对数百个不同长度的输入运行一个预测任务。我们有不同数量的vmem的GPU节点，所以我试图以一种不会在GPU节点输入长度的任何组合中崩溃的方式来设置脚本。
在搜索完解决方案后，我使用了TF_FORCE_UNIFIED_MEMORY、XLA_PYTHON_CLIENT_MEM_FRACTION、XLA_PYTHON_CLIENT_PREALLOCATE和TF_FORCE_GPU_ALLOW_GROWTH，以及tensorflow的set_memory_growth。正如我所理解的，有了统一的内存，我应该能够使用
浏览 12提问于2021-08-24得票数 4
回答已采纳
1回答
我使用两种方法来训练自己的数据，第一种方法是从头开始训练模型，第二种方法是使用微调(根据)，两种方法的所有参数都是相同的，除了检查点设置，但是第一种方法总是发生内存不足(图形处理器)。当减少第一个方法的批处理大小时，这是可以的。理由是什么呢？
有关更多信息，请访问以下网站：
1. train from scratch
python train_image_classifier.py \
--train_dir=${TRAIN_DIR} \
--dataset_name=my_data
--dataset_split_name=train \
--dataset_dir=${DATASET_DI
浏览 1提问于2017-01-09得票数 1
我在我的本地机器上运行TensorFlow1.7，它包含2个GPU，每个GPU大约8 GB。
训练(train.py)当我使用模型'faster_rcnn_resnet101_coco‘时，目标检测正在工作。但是当我尝试运行'faster_rcnn_nas_coco‘时，它显示了’资源耗尽‘的错误。
Instructions for updating:
Please switch to tf.train.MonitoredTrainingSession
WARNING:tensorflow:From /usr/local/lib/python2.7/dist-packages/
浏览 1提问于2018-05-05得票数 1
我在一台安装了4x NVIDIA Titan X的机器上运行CIFAR10 ()的tensorflow示例。
python cifar10_multi_gpu_train.py --num_gpus=4
然而，GPU的使用率仅为25%。谁能解释一下瓶颈是什么以及我如何解决它？输入管道和从CPU到GPU的数据传输是否存在问题？
浏览 13提问于2017-03-15得票数 2
根据的说法，最好由多个GPU共享一个队列。链接表明，我们可以增加批次的大小，然后自己分批。然而，当输入数据是可变长度序列时，增大批处理大小可能会导致许多零填充值。
例如，如果我们创建一个4序列批处理并将该批处理拆分，则它可能是
/gpu:0
x, x, x, 0, 0, 0, 0, 0, 0
x, x, x, x, x, x, x, x, x
/gpu:1
x, x, 0, 0, 0, 0, 0, 0, 0
x, x, x, x, x, 0, 0, 0, 0
我的问题是:如何生产这样的批次：
/gpu:0
x, x, x, 0, 0, 0, 0, 0, 0
浏览 2提问于2017-01-24得票数 1
回答已采纳
1回答
我是tensorflow的新手，在我的M1 Mac上使用GPU。运行我的代码时，我观察到最大GPU负载约为45%。有没有办法将这一数字提高到100%左右？
我在以下conda环境中使用tensorflow：
name: tensorflow
dependencies:
- python=3.8
- pip
- jupyter
- apple::tensorflow-deps
- scikit-learn
- scipy
- pandas
- pandas-datareader
- matplotlib
浏览 10提问于2022-07-11得票数 0
回答已采纳
我是GPU基础上的培训和深入学习模式的新手。我正在我的2 Nvidia GTX 1080 GPU上运行cDCGAN (条件DCGAN)在TensorFlow中。我的数据集包含大约32万张大小为64*64和2350个类标签的图像。如果我设置我的批号32或更大，我会得到一个OOM错误，如下所示。所以我现在用的是10个批号。
tensorflow.python.framework.errors_impl.ResourceExhaustedError: OOM when allocating tensor with shape[32,64,64,2351] and type float on /job
浏览 0提问于2019-03-14得票数 8
回答已采纳
我试图在TensorFlow中提高GPU的利用率，但是我发现子图的执行并不是并行的。下面是工作示例(tensorflow版本r.012)：
import tensorflow as tf
import numpy as np
from tensorflow.python.client import timeline
#initialize graph
tf.reset_default_graph()
sess = tf.Session()
# some parameters
input_dim = 10000
output_dim = 100
num_hidden = 10000
batc
浏览 2提问于2017-03-20得票数 1
我有2个GPU GTX1080和Keras v2安装。我在gpu0和gpu1上同时运行两个训练过程。但是，我有ResourceExhaustedError。
少了什么？
python多gpu-process.py --gpu_id=1 (ok)
python process.py --gpu_id=0 (ResourceExhaustedError )。(请帮忙)
# file: multi-gpu-process.py (2 training processes work on different GPUs)
import numpy as np
import os
浏览 2提问于2017-08-29得票数 1
我有一个带有4个Nvidia K80 GPU的盒子。我正在运行Tensorflow 2。当我运行一个培训会话(tf.keras => model.fit())时，我会看到以下日志语句：
I tensorflow/core/common_runtime/gpu/gpu_device.cc:1102] Device interconnect StreamExecutor with strength 1 edge matrix:
I tensorflow/core/common_runtime/gpu/gpu_device.cc:1108] 0 1 2 3
I tensorflow/
浏览 2提问于2020-06-14得票数 1
回答已采纳
我想训练CNN模型的图像分类使用keras后端。我已经检查过了，tensorflow能够检测到GPU。但是keras并没有使用GPU来训练模型。任务管理器在训练模型中CPU利用率为100%，GPU为0%。
我安装了
可视化演播室社区2017年
Python 3.7.3
库达10.0
卡德宁7.6
蟒蛇
我使用的是windows 10 64位，GPU 1050 GTX 4gb，CPU英特尔i5第7代。
要安装tensorflow GPU，我使用了以下命令
conda create --name tf_gpu tensorflow-gpu
我还尝试了以下3种方法来强制G
浏览 0提问于2019-07-22得票数 0
1回答
我使用的是tensorflow-gpu 1.10.0和Keras-GPU2.2.4与Nvidia gtx765M(2GB) GPU，操作系统是Win8.1-64位-16 2GB内存。
我可以使用560x560 pix映像和批处理大小=1来训练网络，但是在训练结束后，当我尝试测试/预测时，我会得到以下错误：
ResourceExhaustedError: OOM when allocating tensor with shape[20,16,560,560] and type float on /job:localhost/replica:0/task:0/device:GPU:0 by all
浏览 0提问于2019-03-19得票数 2
1回答
使用tensorflow keras时，如果我使用batch_size=8，并使用带有4个GPU的tf.distribute.MirroredStrategy()，对于训练中的每个步骤，它是否有(1) 8批，其中每个GPU有2批或(2) 4x8批，其中每个GPU有8批
我想这是第二种情况。如果我错了，请纠正我。如果是第二种情况，如何跨GPU计算梯度？通过简单的平均值？这是否意味着使用batch_size=8的4个GPU的算法和精度相当于使用batch_size=32的单个GPU？当然，训练时间会有所不同。
谢谢你的帮助。
浏览 0提问于2020-05-08得票数 2
我在一台使用nvidia Tesla K20c图形处理器的电脑上使用keras和tensorflow后端。(CUDA 8)
我正在训练一个相对简单的卷积神经网络，在训练期间我运行终端程序nvidia-smi来检查图形处理器的使用情况。正如您在以下输出中所看到的，GPU利用率通常显示在7%-13%左右
我的问题是:在CNN培训期间，GPU的使用率不是应该更高吗？这是否表明keras/tensorflow的GPU配置或使用情况不佳？
浏览 9提问于2017-06-15得票数 18
我编写了一些代码，用Tensorflow的CPU(仅限于CPU)进行推理。它运行在一个集群节点上，在那里我可以访问24个GPU和1个GPU。我不使用GPU，因为我将需要做的任务CPU-只是稍后。
不知怎么的，每次我从另一个程序(OpenFOAM)调用Tensorflow代码时，Tensorflow似乎都运行在所有并行的CPU上。然而，我没有做任何事情来造成这种行为。现在我想知道Tensorflow在默认情况下是否存在这种并行化？
提前向大家问好，谢谢！
浏览 1提问于2019-05-17得票数 1
在使用functional运行keras多输入模型时，我有此警告。该模型工作良好，没有警告运行在单个GPU上。当我使用tf.distribute.MirroredStrategy使用两个GPU时，模型的最终结果是可以的，但我会得到警告。我认为这会导致性能问题吗？
tf.__version__ : 2.2.0
tf.keras.__version__ : 2.3.0-tf
NVIDIA-SMI 410.72 Driver Version: 410.72 CUDA Version: 10.1
我正在制作的模型是：
def build_model_():
input_a_s
浏览 0提问于2020-07-22得票数 5
我目前正在运行一个用于图像识别的Tensorflow convnet，并且我正在考虑购买新的GPU来支持更复杂的图形、批处理大小和输入尺寸。我读过像这样的帖子，它们不建议使用AWS实例来训练凸网，但是更多的意见总是受到欢迎的。
我已经阅读了Tensorflow的指南，而且图形似乎是在GPU上复制的。我想知道这是在Tensorflow convnet中使用并行GPU的唯一方法吗？
我之所以问这个问题，是因为如果Tensorflow只能在多个GPU之间复制图形，这意味着每个GPU必须至少具有我的模型对一个批处理所需的内存大小。(例如，如果所需的最小内存大小为5GB，则两张每张4GB的卡无法完成此任
浏览 4提问于2017-06-22得票数 0
回答已采纳
我训练了一个对象检测API模型(使用动物园的COCO / Inception v2的Mask RCNN )，具有相同的配置，TensorFlow和模型版本，以及相同数量的步骤的相同(自定义)数据集。
在本地机器(1080TI上的tensorflow-gpu)上，我使用了object_object/Train.py，而在云上，我使用了调用object_detection.train模块的google ml-engine作业。两者使用相同的学习率。
云运行使用了5个工作进程，而本地运行只有1个GPU。它们都被设置为批处理大小为1。
为什么本地训练的模型的准确性要低得多？本地训练的模型往往比云训练的
浏览 28提问于2018-08-23得票数 0
回答已采纳
2回答
我最近完成了图像超级分辨率的自动编码器在Coursera，当我试图运行相同的代码在我的笔记本电脑使用Spyder和木星笔记本，我不断得到这个错误。我使用的是Nvidia GeForce 1650 am 和Tensorflow-gpu=2.3.0，CUDA=10.1，cuDNN=7.6.5和python=3.8.5。我使用了相同的配置来运行许多深层次的神经网络问题，但是没有一个给出了这个错误。
代码：
# Image Super Resolution using Autoencoder
# Loading the Images
x_train_n = []
x_train_down = []
浏览 1提问于2020-09-18得票数 1
回答已采纳
1回答
假设在计算中使用TensorFlow GPU库，哪些操作被卸载到GPU (以及多久一次)？以下各项对业绩有何影响：
CPU核心计数(因为它现在没有积极参与计算)
拉姆大小。
GPU VRAM (拥有更高内存的GPU有什么好处)
比方说，我想决定这些硬件的具体选择。有人能用一个例子解释一下，机器学习模型的哪个方面会影响特定的硬件约束？
(我需要详细说明哪些操作被卸载到GPU和CPU，例如基于TensorFlow GPU )。
浏览 3提问于2019-06-30得票数 1
2回答
Keras:无法充分使用GPU
、、、、
当我运行我的代码时，我每次都会收到这样的消息：
2018-09-27 19:31:03.353933: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1405] Found device 0 with properties:
name: GeForce GTX 650 Ti major: 3 minor: 0 memoryClockRate(GHz): 0.941
pciBusID: 0000:01:00.0
totalMemory: 2.00GiB freeMemory: 1.65GiB
2018-09-27 19:31:03.355
浏览 1提问于2018-09-27得票数 1
2回答
Keras没有使用我的GPU，尽管tensorflow似乎可以很好地运行它。我遵循其他人的建议来检查tensorflow：
import tensorflow
from tensorflow.python.client import device_lib
print(device_lib.list_local_devices())
这给了我们
[name: "/device:CPU:0"
device_type: "CPU"
memory_limit: 268435456
locality {
}
incarnation: 1354124348327580223
浏览 2提问于2018-10-23得票数 0
我正在尝试在Slurm集群的GPU上运行一些TensorFlow/Jax代码。当我请求一个交互式GPU会话并运行我的代码时，一切都很完美。但是当我提交我的Slurm工作时，我会收到一个经典的failed call to cuInit: CUDA_ERROR_NO_DEVICE: no CUDA-capable device is detected TensorFlow错误。
我怀疑这是个贫民窟的问题，但我不确定。有人知道错误的来源或如何解决吗？
互动会议成功：
rschaeffer@boslogin04 ~/PehlevanLab-Dopamine$ srun --pty -p gpu_tes
浏览 4提问于2020-12-28得票数 2
回答已采纳
1回答
简单DQN慢速训练
、、、、
我一直试图用本文中的DQN来解决OpenAI月球着陆器的游戏。
问题是训练50集需要12个小时，所以一定是出了问题。
import os
import random
import gym
import numpy as np
from collections import deque
import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense
from tensorflow.keras.optimizers import Ada
浏览 4提问于2021-01-03得票数 3
使用自定义模型运行AWS SageMaker，在多gpu配置中使用Keras加上Tensorflow后端时，TrainingJob在算法错误中失败：
from keras.utils import multi_gpu_model
parallel_model = multi_gpu_model(model, gpus=K)
parallel_model.compile(loss='categorical_crossentropy',
optimizer='rmsprop')
parallel_model.fit(x, y, epochs=20, batch_s
浏览 1提问于2018-11-26得票数 0
回答已采纳
1回答
尝试从Tensorflow 1.13和tensorflow-gpu1.13升级到Tensorflow 2。在蟒蛇中，已经克隆了以前的venv (venvTF1)作为venvTF2...在命令窗口中激活venvTF2 ...然后升级pip，然后
pip --upgrade tensorflow
这成功地(？)安装tensorflow 2。如果我执行
pip list
，它显示了tensorflow 2的列表，而不是venvTF2的tensorflow 1.13
但是，如果我在cmd窗口中运行python：
python
import tensorflow as tf
tf.test.is_bui
浏览 0提问于2020-07-25得票数 0
让我们假设我并行地启动以下命令，在同一台机器上同时训练多个TensorFlow模型：
python3 launch_training.py --gpu 0
python3 launch_training.py --gpu 1
python3 launch_training.py --gpu 2
python3 launch_training.py --gpu 3
python3 launch_training.py --gpu 4
python3 launch_training.py --gpu 5
python3 launch_training.py --gpu
浏览 1提问于2018-06-16得票数 2
回答已采纳
2回答
我(仍然)正在尝试使用Tensorflow 2.0后端上的Keras实现一个简单的Unet网络。
我的模板和面具是1536x1536 RGB图像(面具是黑白的)。根据，可以测量所需的内存量。
我的模型在张量1,16,1536,1536上出现内存分配错误。使用上面文章给出的方程，我计算了这个张量所需的内存量:1* 16 * 1536 * 1536 *4= 144兆字节。我有GTX 1080钛和~9 Gbytes可用于Tensorflow。出什么问题了？我是不是遗漏了什么？
下面是一个几乎完整的回溯：
2020-03-02 15:59:13.841967: I tensorflow/stream_
浏览 0提问于2020-03-02得票数 4
回答已采纳
我很惊讶在Nvidia tf.keras.applications.ResNet50上使用tf.keras.applications.ResNet50实现(内存为11 on !)时会遇到内存不足的错误。
问题：
我使用的工作流有问题吗？
备注：
我用的是tensorflow-gpu==2.0.0b1和CUDA v10.1
我处理一个分段任务，因此大的output_shape
我自己构建批处理，从而使用train_on_batch()
即使将memory_growth设置为True，内存也会在一秒钟内从700 of填充到10850 of。
代码：
import tenso
浏览 1提问于2019-07-23得票数 1
2回答
我对tensorflow很陌生。我以前经常用提亚诺进行深度学习。我注意到这两者的不同之处，即输入数据可以存储在哪里。
在Theano中，它支持共享变量将输入数据存储在GPU内存中，以减少CPU与GPU之间的数据传输。
在tensorflow中，我们需要将数据输入占位符，数据可以来自CPU内存或文件。
我的问题是:是否可以为tensorflow在GPU内存中存储输入数据？还是它已经用某种神奇的方式做到了？
谢谢。
浏览 3提问于2016-06-02得票数 13
回答已采纳
在安装了Tensorflow对象检测API之后，按照所有的说明，我开始使用自己的dataset进行培训。很快，这个程序就开始使用所有的RAM，这个过程就被终止了。我已经阅读了所有关于这个问题的帖子，似乎没有人有答案。这是试图找出这个问题的原因的又一次尝试。
电脑规格：
12 GB RAM
Ubuntu 14.04 LTS
tensorflow-gpu
NVIDIA GTX 1070-8.0 GB
日志是：
INFO:tensorflow:Starting Queues.
INFO:tensorflow:global_step/sec: 0
Killed
从其他人正在编写
浏览 9提问于2017-07-21得票数 0
1回答
Keras内存不足的后果
、、、
如果这个问题在这里离题，请随时参考另一个StackExchange站点。:-) 我正在使用Keras，我的GPU (GeForce GTX970，~4G)上的内存相当有限。因此，在使用批处理大小设置高于特定级别的Keras时，我会耗尽内存(OOM)。降低批处理大小我没有这个问题，但是Keras会输出以下警告： 2019-01-02 09:47:03.173259: W tensorflow/core/common_runtime/bfc_allocator.cc:219] Allocator (GPU_0_bfc) ran out of memory trying to allocate 2
浏览 223提问于2019-01-02得票数 4
回答已采纳
2回答
我正在使用TensorFlow-Slim。我的目标是在多GPU模式下运行给定的标准脚本(位于/models/slim/scripts中)。我已经测试了finetune_resnet_v1_50_on_flowers.sh脚本(在2017年4月12日克隆)。我刚刚在训练部分的末尾添加了--num_clones=2 (灵感来自/slim/deployment/model_Test.py和之前的StackOverflow答案)：
python train_image_classifier.py \
--train_dir=${TRAIN_DIR} \
--dataset_name=flowe
浏览 3提问于2017-04-14得票数 1
我将用1080ti(11 GPU )GPU来训练一个使用seq2seq包的模型。使用不同网络的大小(甚至)总是会出现以下错误：
I tensorflow/core/common_runtime/gpu/gpu_device.cc:885] Found device 0 with properties:
name: Graphics Device
major: 6 minor: 1 memoryClockRate (GHz) 1.582
pciBusID 0000:03:00.0
Total memory: 10.91GiB
Free memory: 10.75GiB
I tensorflow
浏览 3提问于2017-04-18得票数 0
回答已采纳
当我在conda环境中时，“conda列表”和“pip冻结”显示了不同数量的库。例如，'tensorflow-gpu‘列在'pip冻结’中，而不是在'conda列表‘中。如果我想在这个环境中使用tensorflow-gpu，我应该运行pip install tensorflow-gpu来重新安装它，还是没有必要？
浏览 7提问于2021-06-14得票数 0
回答已采纳
我在多GPU机器上遇到了OOM，因为TF 2.3似乎只使用一个GPU来分配张量。 tensorflow/core/framework/op_kernel.cc:1767] OP_REQUIRES failed at conv_ops.cc:539 :
Resource exhausted: OOM when allocating tensor with shape[20532,64,48,32]
and type float on /job:localhost/replica:0/task:0/device:GPU:0 by allocator GPU_0_bfc. 但是当我运行代码时，
浏览 36提问于2021-06-28得票数 1
我想使用Tensorflow API的模型SSD MobileNet v2在一个相对较大的数据集上训练对象检测器(大约3000幅图像用于训练，500幅用于测试)。我已经成功地管理了所有必要的预处理步骤，创建了train.record和test.record文件，并尝试使用train.py运行模型的培训，但是培训过程被内核所扼杀。
>INFO:tensorflow:Restoring parameters from /home/yurii/.../second_attempt/model.ckpt
>INFO:tensorflow:Restoring parameters from
浏览 0提问于2018-05-22得票数 1
我目前正在Tensorflow上训练一个递归网络来解决文本分类问题，并且遇到了性能和内存不足的问题。我使用的是带有Ubuntu 14.04的AWS g2.8xlarge，以及最近的每晚构建的tensorflow (我于8月25日下载)。
1)性能问题：
从表面上看，CPU和GPU的利用率都很低。我已经对此运行了多个测试(并在此过程中使用了line_profiler和memory_profiler )。训练持续时间与纪元数成线性关系，所以我用1个纪元进行测试。RNN配置=1层，20个节点，训练时间= 146秒。
顺便说一句，这个数字比在g2.2xlarge上运行的相同测试高/慢大约20秒！
以下
浏览 15提问于2016-09-08得票数 2
我有一台4 GPU的机器，我在上面运行Tensorflow (GPU)和Keras。我的一些分类问题需要几个小时才能完成。
nvidia-smi返回不稳定的GPU-Util，在我的4个GPU中的任何一个上都不会超过25%。如何提高GPU使用率并加快培训速度？
浏览 2提问于2017-11-15得票数 11
所以我尝试在Keras中使用多个GPU。当我使用示例程序运行 (作为training_utils.py代码中的注释给出)时，我的结果是ResourceExhaustedError。nvidia-smi告诉我，这四个GPU中只有一个在工作。对其他程序来说，使用一个GPU很好。
TensorFlow 1.3.0
Keras 2.0.8
Ubuntu 16.04
CUDA/cuDNN 8.0/6.0
问题：，有人知道这里发生了什么事吗？
控制台输出：
(...)
2017年-10-26 14:39:02.086838: W tensorflow/core/common_ru
浏览 0提问于2017-10-26得票数 1
回答已采纳
我有以下测试代码：
import tensorflow as tf
import numpy as np
def body(x):
a = tf.random_uniform(shape=[2, 2], dtype=tf.int32, maxval=100)
b = tf.constant(np.array([[1, 2], [3, 4]]), dtype=tf.int32)
c = a + b
return tf.nn.relu(x + c)
def condition(x):
return tf.reduce_sum(x) < 10
浏览 0提问于2018-03-30得票数 2
回答已采纳
在几个时代之后，打磨就停止了。主要是在第5或第8期，最后一次的次数在不同的运行中是不同的。
错误：
File "/opt/keras-python3.4/lib/python3.4/site-packages/PIL/JpegImagePlugin.py", line 126, in APP
dpi = x_resolution[0] / x_resolution[1]
ZeroDivisionError: division by zero
My配置：
Tensorflow 1.0.1
Keres 2.0.3
库班图14.04
Python 3.
浏览 1提问于2017-04-18得票数 0
回答已采纳
我有一个使用分布式TensorFlow的计划，我看到TensorFlow可以使用GPU进行培训和测试。在集群环境中，每台机器都可能有0或1或更多的GPU，我希望在尽可能多的计算机上将TensorFlow图运行到GPU中。
我发现在运行tf.Session()时，TensorFlow在日志消息中提供了有关GPU的信息，如下所示：
I tensorflow/core/common_runtime/gpu/gpu_init.cc:126] DMA: 0
I tensorflow/core/common_runtime/gpu/gpu_init.cc:136] 0: Y
I tensorflo
浏览 23提问于2016-07-25得票数 227
回答已采纳
我使用的是1.13版本的tensorflow，我尝试使用tf.estimator与MirroredStratgy一起使用多gpu(比如4个gpu)。对于ds = ds.batch(64)，我是向每个gpu发送64样本还是向每个gpu发送64/4=16示例？
浏览 0提问于2019-05-05得票数 0
回答已采纳
我已经在jupyter环境中安装了cuda，cudann和tensorflow-gpu，之后我试着检查我在那个环境中是否有gpu支持，但是在list_local_devices中没有显示gpu。我的笔记本电脑里有geforce 1050 ti gpu。 import os
os.environ["CUDA_DEVICE_ORDER"]="PCI_BUS_ID"
os.environ["CUDA_VISIBLE_DEVICES"]="1,2"
from tensorflow.python.client import device
浏览 38提问于2019-01-10得票数 1
当我的对象检测Tensorflow 2.5GPU模型启动训练时，我得到了一个资源扩展错误。我使用了18张训练图像和3张测试图像。我正在使用的预训练模型是来自Tensorflow动物园2.2的更快的using ResNet101 V1 640x640型号。我正在使用一个带有8GB专用内存的Nvidia RTX 2070来训练我的模型。
我感到困惑的是，为什么训练过程在训练集如此小的时候占用了GPU的这么多内存。这是GPU内存的总结，我认为这是一个错误：
Limit: 6269894656
InUse: 61034
浏览 4提问于2021-10-12得票数 1
回答已采纳
2回答
我运行的是简单的密集层，但是Gpu负载和Cpu负载一直都很低。
print(device_lib.list_local_devices())
2019年-02-19 19:06:23.911633: i tensorflow/core/platform/cpu_feature_guard.cc:141]您的CPU支持这样的指令，即这个TensorFlow二进制文件没有编译使用: AVX AVX2。
2019-02-19 19:06:24.231261:Itensorflow/core/common_runtime/gpu/gpu_device.cc:1432]发现了具有属性的设备0:名称
浏览 1提问于2019-02-19得票数 0
回答已采纳
1回答
我在处理多gpu服务器上神经网络的训练。我使用的是来自MirroredStrategy 2.1的TensorFlow API，我感到很困惑。
我有8个GPU (Nvidia V100 32 GPUs )
我指定的批处理大小为32 (它是如何管理的？每个gpu会有一批32个样品吗？我是否应指定256为批号-32x8- ?)
何时和如何应用反向传播？我已经读过MirroredStrategy是同步的:它是否意味着在向前一步之后，所有批被分组成一批大小为32x8的批，然后应用反向传播？还是对每批32码的大小按顺序使用一次后支柱？
我真的很想确定我向服务器提交了什么样的实验，因为每个培
浏览 3提问于2020-09-07得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
