如果我只使用GPU工作器启动集群，那么读取部分将非常慢(因为它只使用分配给gpu工作器的4个cpu工作器，除非你在单独的shell上运行它们，否则你不能真正运行比gpu数量更多的工作器，然后它会变得很糟糕我想使用CPU工作器读取文件，与cpu工作</
浏览 20提问于2021-09-16得票数 1
我有一个400 to的数据集，我想训练一个模型。训练这种模型最便宜的方法是什么？到目前为止，我能想到的选择是：任何帮
浏览 0提问于2021-03-18得票数 6
我想使用分布在许多节点上的多个GPU来使用3 在中的一个非常大的数据集上训练一个模型。数据集大小超过VRAM和RAM大小时，持久化到达克，但舒适适合在磁盘上。但是， (至少在默认情况下)。所有数据预处理都已经处理过(一种使用np.bool数据类型的热编码)，人们可以假设我在其他地方拥有最有效的数据类型(例如，对于十进制特性将np.float64更改为np.float32，对于序号数据更改为我的代码如
浏览 1提问于2020-07-02得票数 2
1回答
我正在使用Dask和Rapidsai在一个大型(6.9 on )数据集上运行xgboost模型。硬件是4x2080TI，每个都有11 GB内存。原始数据集有几十个经过一次热编码的目标列，因此我尝试运行一个循环，每次保留一个目标列，删除其余列，运行模型，然后重复。如果我尝试在集群/客户端分配之后使用循环来执行此操作：with LocalCUDAC
浏览 20提问于2021-06-09得票数 0
2回答
我想转换一个非常大的火花放电数据为熊猫，以便能够将它分成火车/测试熊猫框架的滑雪随机森林回归器。我在星火3.1.2的数据库里工作。 at java.lang.Thread.run(Thread.java:748)
根据reply ，这是因为toPandas实现，因为它试图将数据集写入一个ByteArrayOutputStream，该ByteArrayOutputStrea
浏览 14提问于2022-01-31得票数 1
我正在使用XGBoost开发一个欺诈检测模型。基于CPU的模型工作良好，并能识别出预期的欺诈行为。params = {"objective":"multi:softprob",
'booster':'da
浏览 5提问于2021-01-14得票数 2
回答已采纳
我使用xgboost的XGBRegressor编写了以下代码regressor3, n_jobs=1, objective='reg:squarederror')当我在python3中运行它时，它用以下输出使解释器崩溃试图使用GPU进行培训</e
浏览 0提问于2019-07-21得票数 0
我非常熟悉为CPU分发的Dask。我想探索如何在GPU内核上运行我的代码。我会得到以下错误：这是我的测试用例：import numpy as npfrom dask.distributed import Client
c = Client更新
浏览 5提问于2020-06-03得票数 0
回答已采纳
1回答
我用一个Docker编写的文件启动了10名工人，如下所示：要运行两种模型的机器学习培训，我执行以下操作：X1 = data1[features1]
X2 = data2[features2]
except Exception as e:
logging.error(&
浏览 3提问于2021-07-22得票数 0
回答已采纳
4回答
像XGBoost或Lightbgm这样的梯度增强解决方案可以用于大量的数据吗？我有一个820 of的csv文件，包含10亿个观测，每个观察都有650个数据点。对于XGBoost来说，这是太多的数据吗？我已经在互联网上搜索了一个解决方案，当数据无法进入内存内存时，就没有用了。我读过关于xgb的外部内存的文章，但是没有详细的文档。谁能帮我指出正确的方向吗?
浏览 0提问于2019-06-15得票数 8
到目前为止，我们一直在使用CPU进行处理，当然，还使用系统内存来存储大约1,5 TB的数据(每个DASK集群，分成960个工作人员)。现在，我们希望更新我们的算法，以利用GPU。我想知道是否有可能使用GPU (考虑到带有PCIe连接的NVDIA、AMD卡以及它们自己的VRAMS，而不是使用系统内存的集成GPU)来处理和存储DASK数据</
浏览 3提问于2022-02-24得票数 1
1回答
我在我的项目中使用了dask (2021.3.0)和rapids(0.18)。在这个过程中，我在CPU上执行预处理任务，然后将预处理后的数据传输到GPU进行K均值聚类。但在这个过程中，我遇到了以下问题：
1个工作任务中的1个失败: std::bad_alloc: CUDA错误: GPU内存不足(在完全使用~/envs/include/rmm/mr/device
浏览 9提问于2021-03-19得票数 0
1回答
我正在编写一个简单的脚本代码来在我的数据集上训练一个XGBoost预测器。- full garbage collections took 36% CPU time recently (threshold: 10%) )相关的通常垃圾收集器警告。我使用的数据集相当大，这就是我使用Dask的原因。然而，它似乎基本上是将整个数据集加载到内存中(我不知道这个假设是否正确，但似乎是因为读-块任务)。
代码非常直接，而且似乎没有
浏览 2提问于2021-05-01得票数 0
1回答
自定义Dask调度程序与客户端
、、、、
我希望在自定义调度程序上运行Dask任务，类似于Ray上的Dask工作方式。目前，我正在使用Dask的配置来指定调度程序：这种方法适用于简单的Dask dataframe操作，如下面这样的操作客户端的东西，例如XGBoost培训，都不使用自定义调度程序。在XGBoost中使用客户机的需求
浏览 3提问于2021-07-01得票数 0
我正在阅读这个关于为GPU优化TensorFlow代码的最佳实践。他们的一个建议是将预处理操作放在CPU上，以便GPU专用于培训。试图理解一个人如何在一个实验中真正地实现这一点。-还有一个generate_input_fn和parse_csv函数，用于设置输入数据队列。post对我来说意味着，通过将预处理封装在cpu上，GPU将自动用于其余部分。真的是这样吗？分布式ML引擎实验作为后续，我想了解如何在分布式ML引擎实验中进一步适应--如果有两个
浏览 5提问于2017-09-01得票数 0
回答已采纳
3回答
我使用的工作站主要用于培训深度学习和机器学习模型。我在CPU和GPU上运行训练代码。CPU: AMD Ryzen 9 5950X 16-核心处理器操作系统: Ubuntu 22.04 LTS
我使用的库(PyTorch、XGBoost、LightGBM等)大量使用交换内存来加载数据。在处
浏览 0提问于2022-06-29得票数 10
回答已采纳
5回答
我试图理解GBM和XGBOOST之间的关键区别。我试着搜索它，但是找不到任何好的答案来解释这两种算法之间的区别，以及为什么xgboost几乎总是比GBM表现得更好。是什么让XGBOOST这么快？
浏览 0提问于2017-02-11得票数 81
回答已采纳
我用GPU (1080 ti)训练了一个神经网络。GPU上的训练速度要比使用CPU好得多。由于培训适用于批处理，但是推断(服务)使用异步请求，您是否建议在使用TensorFlow服务为模型服务时使用GPU？
浏览 12提问于2017-05-23得票数 3
回答已采纳
我使用tf.layers、tf.losses、tf.dataset等tensorflow高级apis构建网络。代码还包含在使用自定义估计器api中。该作业运行了很长时间。网络是如此巨大，它应该使用大量的gpu，但在ml-engine的作业详细信息页面中显示，它没有使用主cpu以及gpu。尽管主cpu和gpu中的一些内存正在被使用。我使用"complex_
浏览 3提问于2018-07-05得票数 0
1回答
我想训练一个XGBoost分类器与盘绕和达斯克。问题是，我的培训数据非常大，并且存储在我计算机上的一个h5py文件中。有办法直接将h5py文件上传给工人吗？ worker_cpu
浏览 11提问于2022-03-24得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
云直播
腾讯会议活动推荐
腾讯云开发者
