1回答
我想使用多个GPU在LibriSpeech数据集上训练RETURRN，但不知道如何做。这个是可能的吗？我没有看到在.config文件中启用它的任何选项。
浏览 10提问于2019-04-05得票数 1
我一直在使用单个GTX Titan训练我的tensorflow再训练算法，它工作得很好，但当我尝试在再训练示例中使用多个GPU时，它不起作用，当我在Nvidia SMI中运行它时，它似乎只使用一个GPU为什么会发生这种情况，因为它在从头开始在初始模型中重新训练时使用多个gpus，而不是在重新训练期间？
浏览 5提问于2016-09-05得票数 1
回答已采纳
1回答
在尝试了当前的分布式训练实现后，我认为它将每个GPU视为一个单独的worker.However，现在在一个盒子中有2~4个GPU是很常见的。采用单盒多GPU方法首先计算单盒中的平均梯度，然后跨多个节点同步，不是更好吗？这种方式大大减轻了I/O流量，而I/O流量一直是数据并行性的瓶颈。有人告诉我，在目前的实现中，可以通过将所有GPU放在一个盒子中作为工作程序，但我无法弄清楚如何将平均梯度与SyncReplicasOptimizer联系起来，因为SyncReplicasO
浏览 14提问于2016-09-20得票数 0
我有一个关于TensorFlow分布式训练的问题。我读过关于多GPU环境的文章，它看起来很有可能(https://www.tensorflow.org/guide/using_gpu)。但是，如果多台计算机具有多个GPU，情况会怎样呢？是否可以在几台机器之间分配机器训练任务？是否有特定的算法/任务，需要这样的分布或多个GPU就足以进行机器学习？这会有需求吗？ 谢谢
浏览 8提问于2019-06-15得票数 1
回答已采纳
1回答
用几个GPU训练一个模型
、、、、
如何编程keras或tensorflow来对多个GPU进行分区培训，假设您在一个拥有8个GPU的amaozn ec2实例中，您希望使用它们来加快训练速度，但是您的代码只是用于单个cpu或GPU？
浏览 2提问于2017-10-21得票数 2
回答已采纳
4回答
Keras中的多GPU
、、、、
我们如何在Keras库(或TensorFlow)中编程，在多个GPU上分区培训？假设您是在一个拥有8个GPU的Amazon实例中，您希望使用它们来进行更快的训练，但是您的代码只用于一个CPU或GPU。
浏览 0提问于2017-10-18得票数 43
回答已采纳
1回答
我目前正在关注中的PyTorch迁移学习教程我正在使用谷歌云平台笔记本实例，并使用4个NVIDIA Tesla k80 x 4GPU。正是在这里，当我在超过1个GPU上训练网络时，遇到了服务器连接错误(无效响应: 504)错误num_ftrs =
浏览 1提问于2019-08-08得票数 1
我阅读了许多关于在TensorFlow中使用多个GPU的文章和帖子。它帮助我学习了更多关于“如何使用并行GPU来训练神经网络”(how to use parallel GPU to train ( here network))。但我有一个不同的问题。可以使用单独的GPU同时训练不同的NN吗？ 更多详细信息： 我有神经网络A，B，和GPU1，GPU2。我想同时在GPU</em
浏览 12提问于2021-01-20得票数 0
1回答
我想使用TF2，最好是EfficientDet D7网络来训练一个大型目标检测模型。对于我的16 GB内存的Tesla P100卡，我遇到了一个“内存不足”异常，即显卡上没有足够的内存可以分配。如果我有多个GPU，那么TF模型将被拆分，以便填满两个卡的内存，这是正确的吗？因此，在我的情况下，使用第二张16 GB的Tesla卡，我在训练期间总共将拥有32 GB？如果是这样的话，我可以使用多个GPU的云提供商也是如此吗？
此外，如果我错了
浏览 18提问于2021-03-03得票数 0
回答已采纳
我目前正在使用一个主管，并建立了一个图表，以执行转移学习，使用培训前从TF-瘦体重。我想知道是否有一种方法在一开始就将检查点模型恢复到多个推理模型？首先，在TF存储库上的中定义的名称范围可能会导致由于名称不匹配而无法恢复经过预先训练的变量。此外，考虑到我必须使用一个init_fn的管理器，它只接受一个恢复变量的保护程序，那么我怎么可能有多个保护程序来将相同的变量恢复到多个GPU(如果我甚至需要有多个保护程序)。我的一个想法是，也许我可
浏览 2提问于2017-02-22得票数 0
回答已采纳
3回答
我试着用2000年的samples_per_epoch和20 batch_size来训练我的模特。它适用于单Gpu，但如果我尝试使用多Gpu进行训练，就会产生这样的错误：
不兼容的形状: 21比20[节点:相等=相等的recv_device="/job:localhost/replica:0/task:0/gpu:1"，][节点:梯度/concat_25_grad/片_1/_10
浏览 8提问于2017-04-21得票数 6
回答已采纳
在训练期间，对于每一小批，我只更新一个小子集的向量从embed_mat (最大15000向量)被选择使用embedding_lookup op。我正在使用Adam优化器来训练我的模型。由于无法将此embed_mat存储在GPU中，由于它的大小，我在CPU (例如/cpu:0)设备下定义了它，但是模型的其余参数、优化器等都是在GPU (例如gpu:/0)设备下定义的。问题
我发现我的GPU使用量非常小(200
浏览 0提问于2016-11-15得票数 1
因此，在TensorFlow关于使用的指南中，有一部分是关于以“多塔方式”使用多个GPU的：for d in ['/device:GPU:2', '/device:GPU:3']:
with看到这一点，人们可能会倾向于利用这种风格在自定义Estimator中进行多个GPU培训，从而向模型表明它可以有效地跨多个GPU分布。据我所
浏览 0提问于2018-11-17得票数 1
我有一个Keras模型，它可以在单个GPU上进行良好的训练，但是当我在多个GPU上训练它时，所有用于培训的验证损失都是NaNs。
我正在使用一个fit_generator并调用一个验证生成器。在一个GPU上的训练损失和验证损失的返回值都是有效的，并且我的模型收敛，但是在2个或更多GPU上，训练损失是好的和有效的，但是验证损失都是NaNs。我在多台计算机上尝试过这些代码，每台计算机都有不同的Keras
浏览 0提问于2019-01-21得票数 1
1回答
为了评价多GPU训练的效果，我尝试了三种使用角点分割的UNet模型。
First模型在1 GPU (P100)上使用1批大小进行训练。每个训练步骤约254毫秒。(请注意，这是步骤，而不是划时代)，第二模型是使用2个批次大小使用1个GPU (P100)训练的。每个训练步骤采用~399 was，第三模型用2个GPU (P100)进行
浏览 2提问于2020-03-24得票数 2
回答已采纳
我知道在训练DNN时，通常使用多个GPU的方法是拆分数据集，并将每个拆分的数据集分配给每个GPU。例如，我只有一张图片用于数据集。因为我没有多张图片可以拆分并分
浏览 0提问于2017-04-17得票数 0
1回答
我一直在tensorflow教程中运行CIFAR10模型，以跨多个GPU进行训练。来源：配置: Tensorflow 0.8.0、CUDA7.5、cuDNN 4
训练性能的结果没有预期的可伸缩性。图形的模式看起来像Amdahl定律。
浏览 2提问于2016-04-22得票数 1
我正在使用Niftynet训练一个使用2个GPU的CNN。据我所知，每个GPU都是独立训练的，因为我每次迭代都会得到两个损失值。两个GPU的结果是否在推断时合并？我曾经相信使用多个gpus可以减少训练时间，但在Niftynet中似乎不是这样。
浏览 13提问于2018-12-18得票数 1
我有一台有4个GPU的服务器。我想使用其中的2个来进行多GPU训练。
提供的Keras文档提供了一些关于如何使用多个图形处理器的见解，但我想选择特定的图形处理器。有没有办法实现这一点？
浏览 66提问于2019-05-27得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
