任何有使用vast.ai进行云计算的经验的人都知道,当租用多个GPU时,您需要做一些设置来利用额外的GPU吗?
因为当租用6或8个GPU而不是仅仅一个GPU时,我不会注意到速度上的任何差异。我刚开始使用vast.ai进行云计算。
我使用的是默认的码头:用于深度学习框架TensorFlow ()的正式对接图像。
成功加载了tensorflow/tensorflow:夜-GPU-py3
然后再安装keras:
pip install keras
我还使用此方法检查了可用的GPU,所有GPU都被正确检测到:
from keras import backend as K
K.tensorflow_b
我正在尝试用开源框架来做ETL,我听说过两件事,Apache Beam和Apache Airflow,这两件事最适合整个ETL或ELT,比如Talend、Azure Data Factory等,事实上,我正在尝试用云数据仓库(redshift、azure数据仓库、雪花等)来做所有的事情。哪一个对这些类型的工作更好,如果我能在这两个框架之间进行一些比较,那就太好了。提前谢谢。
我的任务是设计一个Kimball风格的数据仓库。它将位于Server中的prem上。组织物理实现的最佳做法是什么?也就是说,数据仓库是否应该是一个单一的数据库,使用模式来分隔每个数据集市(并且将所有维度都放在自己的模式中,以帮助“驱动”跨市场的重用)?或者,每个数据集市是否应该是自己的数据库(强制所有维度都存在于一个单独的数据库中)?
如果我使用云平台进行数据仓库,比如Azure SQL DB (例如,使用托管实例来允许跨数据库查询),这个决策是否重要?