我想创建一个关于分布式培训的模块来满足客户的要求。我通过添加几行代码(如下所示)来编辑，以便使用FullyReplicated和SharedByS3Key运行培训，其中包含两个用于培训的实例，以展示客户如何使用XGBoost进行分布式培训。我成功地运行了这三种培训类型--单一的、分布式的:sharedbys3键和分布式:完全复制。但单发训练时间为3分钟，而分散训练时间较长(分别为6和7分钟)。
为什么这种情况下的分布式</em
浏览 4提问于2022-11-01得票数 -1
SageMaker内置的LightGBM算法是否支持分布式训练？非常感谢您对此的任何建议或澄清。
浏览 20提问于2022-09-11得票数 0
回答已采纳
源或二进制)安装的TensorFlow ：
我想要进行一次关于对象检测的分布式培训。这是运行分布式培训的正确方式吗？但这种方式似乎是一种异步训练。为了运行同步培训</e
浏览 2提问于2018-12-05得票数 1
我正在跟踪这个页面，以了解SageMaker的分布式培训功能。上面写着：-
SageMaker分布式培训库只能通过TensorFlow、PyTorch和HuggingFace框架的AWS深度学习容器在SageMaker培训平台中使用。这是否意味着我们不能使用SageMaker分布式训练来使用传统的机器学习算法(如线性回归、随机森林或XGBoost )来训练机器学习模型？我有一个用例，其中数据集非常大，和分布式培训可以帮助模型并行和数据并行。为了避免在
浏览 12提问于2022-09-17得票数 -1
使用PyTorch定制容器(BYOC)在Amazon中进行分布式培训的最佳实践是什么？我理解PyTorch框架支持本地分布式培训或使用Horovod库进行PyTorch。
浏览 11提问于2022-09-11得票数 0
问题编辑：每个员工和非分布式DL使用1000个样本作为培训集，相同的小批量大小为200。每个员工使用500个样本作为培训集(前500个样本用于工人1，其余500个样本用于工作人员2)，非分布式DL使用1000个样本用于培训</em
浏览 0提问于2018-11-05得票数 0
回答已采纳
我有一个要求，使用N1xGPU Spot实例，而不是1xN-GPU实例的分布式培训。
SageMaker分布式培训是否支持GPU Spot实例的使用？如果是，如何启用？
浏览 10提问于2022-09-11得票数 0
例如，如果我们使用2个实例来使用内置的XGBoost容器进行培训，并且使用了相同的客户流失示例，该怎么办？一个例子会被忽略吗？
浏览 13提问于2022-09-10得票数 0
回答已采纳
1回答
Context：在使用SageMaker分布式培训时:假设在训练网络时，我不提供任何分布参数(将其保持为默认值)，而是在估计器中为instance_count值提供2个实例(可以是任何基于深度学习的估计器在这种情况下，是否会进行任何分布式培训？如果是的话，默认使用什么策略？
注意到：我可以看到这两个实例的GPU都在积极使用，但是我想知道默认情况下会发生什么样的分布式培训？
浏览 6提问于2022-11-28得票数 0
keras模型是否支持SageMaker分布式数据并行(SMDDP)？在文档中，它说"SageMaker分布式数据并行适用于除tf.keras模块以外由tf核心模块组成的TensorFlow培训脚本，SageMaker分布式数据并行不支持带有Keras实现的TensorFlow“
但是在培训脚本内部以及如何修改它，我可以看到使用了tf.keras和tf.keras.model。
浏览 12提问于2022-09-09得票数 0
1回答
实例化和关闭Kubeflow豆荚
、、、、
我正在学习Kubernetes和Kubeflow，有些事情我想做，我在互联网上找不到任何明确的答案，如果可能的话，或者我应该选择的路线。不好意思，我还在学习这个平台。
浏览 7提问于2021-02-02得票数 2
回答已采纳
默认情况下，TensorFlow分布式培训在工作器和参数服务器之间建立所有到所有的连接，即使在异步分布式培训中，唯一必要的通信是每个单独的工作器和参数服务器之间的通信。
浏览 4提问于2017-10-24得票数 2
此建议有三种可供选择的分布式培训
模式并行训练。然后，本教程建议下面的代码在Cloud引擎上使用异步更新执行数据并行培训，该引擎的行为是“如果在10个工作节点中分发10,000个批，每个节点大约在1,000批上工作”。但是，尚不清楚代码的哪一部分实际上指定这是使用异步更新的数据并行培训。如果您使用自定义tf.estimator在分布式培训模式下运行ML引擎，这仅仅是它的默认吗？
浏览 2提问于2017-08-31得票数 0
回答已采纳
smdistributed.dataparallel.torch.parallel.distributed导入DistributedDataParallel作为DDP导入smdistributed.dataparallel.torch.distributed作为dist的分布式培训(使用两个库)，尽管数据被划分为所有GPUs("ml.p3.16xlarge“，8个Gpus)，但是，无论是单实例还是双实例，培训时间都没有减少。之前，我们尝试使用Sagemaker内置的algo Resnet101来获取相同的数据，100个时代的训练时
浏览 0提问于2021-11-11得票数 0
在分布式培训期间，我希望在每个时代之后同步，对主要员工进行一些计算，并根据这些计算继续或停止培训。我需要一个障碍来做到这一点。我在文档中没有看到类似的东西，所以我实现了基于队列的解决方案(类似于在分布式培训中如何存储和应用渐变)：
def build_barrier(tasks, task_index, barrier_name
浏览 5提问于2016-09-22得票数 2
回答已采纳
在看了几次关于ApacheBeam及其API/SDK的讲座和一些博客之后，我仍然无法理解它是否也能够与分布式机器学习培训范例(例如数据并行)集成。我在网上找到的内容通常只涉及如何帮助构建一个端到端的ML管道(从预处理到服务)，但忽略了是否也可以并行进行培训。所以我的问题是:我们真的能把它与诸如tf.distribute.MultiWorkerMirroredStrategy这样的Tensorflow的分布式培训库集成起来吗？
浏览 8提问于2022-09-18得票数 0
回答已采纳
我想通过使用分布式训练来缩短使用SageMaker内置对象检测算法(实例计数> 1)的训练作业的时间。我试图通过将培训数据分割成多个RecordIO文件而不是仅仅一个文件来做到这一点。“在火车通道中找到多个RecordIO文件”此错误导致培训作业失败。目前只支持单个RecordIO文件。
这使我相信，该算法不支持通过分布式训练来加快训练时间。我说的对吗？还是有其他方法可以利用多个培训实例来加快培训工作的持续时间？
浏览 2提问于2022-09-12得票数 0
继之后，为分布式培训优化数据摄入的一种方法是使用相应的ShardedByS3Key。
是否有在分布式培训上下文中使用更高级ShardedByS3Key的代码示例？
浏览 12提问于2022-10-31得票数 0
我有一个500 TB的csv文件和一个1.5 TB的mysql数据库，我想在上面运行aws sagemaker分类和回归算法以及随机森林。
浏览 1提问于2018-03-20得票数 5
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
