我在tensorflow上使用多gpu。在相同的作用域下共享变量会让我感到困惑。根据的说法for i in xrange(FLAGS.num_gpus): tf.get_variable_scope但在我的理解中，至少第一个GPU必须创建变量，因为它没有变量可供重用。我还找到了一些为第一个图形处理器设
浏览 6提问于2017-06-12得票数 1
回答已采纳
1回答
我创建了一个名为的多GPU网络。
我们使用tf.get_variable()而不是tf.Variable()实例化所有变量，以便在多个GPU培训运行中共享变量。如果我们只在一个GPU上运行这个模型，我们可以通过将tf.get_variable()的所有实例替换为tf.Variable()来简化这个函数。在这种情况下，我可以使用tensorflow.contrib.slim.batch_norm吗？该示例不包含任何关于批处理规范
浏览 4提问于2017-12-26得票数 2
回答已采纳
I tensorflow/core/common_runtime/gpu/gpu_init.cc:59] cannot enable peer access from device ordinal 0to device ordinal 2
I tensorflow/core/common_runtime/gpu/gpu_init.cc:59] cannot enable peer access fromdev
浏览 5提问于2016-05-31得票数 1
回答已采纳
我正尝试在一个节点上编写自己的多gpu tensorflow示例。vars = tf.trainable_variables()tower_grads.append(grads)
但是当程序运行到第二个GPU时，tf.trainable_variables()返回第一轮循环的tensorflow变量和第二轮的tensorflow变量。顺便说一下，我认为这项任务是两个GPU</e
浏览 24提问于2017-07-07得票数 1
回答已采纳
我有一个使用分布式TensorFlow的计划，我看到TensorFlow可以使用GPU进行培训和测试。在集群环境中，每台机器都可能有0或1或更多的GPU，我希望在尽可能多的计算机上将TensorFlow图运行到GPU中。我发现在运行tf.Session()时，TensorFlow在日志消息中提供了有关GPU的信息，如下所示：
I tensorflow/core/common_runtime
浏览 23提问于2016-07-25得票数 227
回答已采纳
2回答
我对tensorflow很陌生。我以前经常用提亚诺进行深度学习。我注意到这两者的不同之处，即输入数据可以存储在哪里。在Theano中，它支持共享变量将输入数据存储在GPU内存中，以减少CPU与GPU之间的数据传输。谢谢。
浏览 3提问于2016-06-02得票数 13
回答已采纳
TensorFlow最近引入了tf.contrib.data.prefetch_to_device()，它支持对GPU内存的预取，但如何在具有多个GPU的系统上实现预取还不是很清楚。每个GPU都需要自己的流水线来处理数据集的一部分吗？
浏览 0提问于2018-04-20得票数 2
所以请对我温柔点..我在创建第二个进程来加载tensorflow到已经运行的GPU上时遇到了问题。385] could not create cudnn handle: CUDNN_STATUS_NOT_INITIALIZEDsuper micro - 4028GR-TRTCUDA: 8 windows: 10 我的电脑应该不是问题gpu</
浏览 3提问于2017-03-19得票数 2
我目前正在尝试比较Horovod和Tensorflow分布式API。在使用Horovod时，我可以访问当前使用的GPU总数如下：size = hvd.size()size = int(os.environ["WORLD_SIZE"])
我想要执行相同的操作，并获得目前使用的多GPU/节点与TF分布式官方API的GPU数量。我不能
浏览 0提问于2019-06-30得票数 1
回答已采纳
Tensorflow分布式训练我们可以编写一个带有API的图，以便在CPU端共享来自PS的变量，并且所有GPU都从CPU而不是ps获取最新值。此外，所有GPU将梯度推送到CPU端而不是pservers，然后间接地将合并后的梯度推送到pservers。
浏览 0提问于2017-03-20得票数 0
目前，我正在实现一个大型自定义模型，并参考tensorflow附带的CIFAR 10的多gpu示例。然而，我在此基础上编写的代码并不整洁，而且容易出错。例如，我必须找到每个可训练变量并添加"with tf.device('/cpu:0')“。非常感谢您的支持。
浏览 3提问于2017-01-23得票数 1
Ubuntu18.04，nvidia mx150，cuda10.1，tensorflow同时使用$ pip install tensorflow和$ pip install tensorflow-gpu问题是它无法检测到GPU，但当尝试使用pytorch时，它可以检测到。似乎找不到问题所在。提前谢谢。编辑1-我已经将CUDA_VISIBLE_DEVICES设置为0，我可以手动检测图形处理器，但tensorflow不能，我还没有尝试源构建选项。
浏览 0提问于2020-12-01得票数 2
我正在用GPU开发一台共享机器。它过去只有一个版本的tensorflow工作tensorflow-gpu==0.12.0rc1，但最近它也有最近的非gpu版本。tensorflow==1.0.1我的代码不再使用GPU设备了。我尝试只导入旧版本的import tensorflow-gpu as tf或要求tensorflo
浏览 2提问于2017-03-16得票数 0
回答已采纳
为了简化这里的简短代码片段：from tensorflow.keras import layers
Epoch 1&#
浏览 2提问于2020-12-21得票数 1
系统规格
坦索弗洛：tensorflow-gpu==1.15.我注意到一个非常奇怪的错误，在Python进程树的根进程中，GPU只对Tensorflow可用。如果我使用multiprocessing.Process()发送进程，那么GPU就不再可用了。/core/common_runtime/gpu&#x
浏览 7提问于2020-04-17得票数 1
可以通过多种方式实现GPU共享。我遇到了入住率。我可以使用它在共享GPU的进程(例如tensorflow)之间对GPU进行切片吗？这里的切片意味着GPU资源始终专用于该进程。使用占用率，我将获得GPU和SMs的详细信息，并在此基础上启动内核，声明为这些GPU资源创建块。
浏览 0提问于2018-08-08得票数 1
我想在我的多图形处理器系统上使用tf.contrib.distribute.MirroredStrategy()，但它没有使用GPU进行训练(参见下面的输出)。另外，我正在运行tensorflow-gpu 1.12。 我确实尝试在MirroredStrategy中直接指定GPU，但同样的问题也出现了。but not used by distribute strategy: /device:GPU:0
INFO:tensorflow:Device is avai
浏览 49提问于2019-02-19得票数 9
我已经在Tensorflow实现了一个相当复杂的新操作系统，它有一个GPU CUDA内核。此操作需要大量动态内存分配变量，这些变量不是张量，在操作完成后被解除分配，更具体地说，它涉及使用哈希表。现在我正在使用cudaMalloc()和cudaFree()，但是我注意到Tensorflow有自己的类型Eigen::GPUDevice，它能够在GPU上分配和释放内存。我的问题：
使用Eigen::GPUDevice管理GPU内存是最佳实践吗？通过使用Eigen::GPU
浏览 1提问于2018-02-02得票数 6
回答已采纳
我正在尝试使用TensorFlow对象检测应用编程接口执行多GPU训练。 我在我的NVIDIA-SMI中看到的是，实际上只有1个GPU被使用。提供的其他3个GPU加载了GPU进程，但内存使用率为300MB，利用率始终为0% 我使用在COCO上预先训练的基于固态硬盘MobileNetV1的网络，然后用我的自定义数据集对其进行训练。我希望当我为Tensorflow提供更多的GPU时，框架实际上会使用它们来加速训练。
浏览 49提问于2019-10-09得票数 3
例如，'tensorflow-gpu‘列在'pip冻结’中，而不是在'conda列表‘中。如果我想在这个环境中使用tensorflow-gpu，我应该运行pip install tensorflow-gpu来重新安装它，还是没有必要？
浏览 7提问于2021-06-14得票数 0
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号